среда, 31 июля 2013 г.

совершенный парсинг сайтов

подчас требования к парсингу сайтов переходит все приделы и просто получить html код
бывает не достаточно.
итак

  1. нужно чтобы код можно было выполнять на удаленном сервере (варианты с плагинами для браузеров отпадают)
  2. получать и хранить куки 
  3. необходимо выполнять js в полном объеме и получать DOM измененный js (речь идет о парсинге ajax сайтов)
  4. получать скриншоты страниц

и т.д. и т.п.
понятно что идеальным выбором будет браузер
поэтому внимательно смотрим на phantomjs(http://phantomjs.org/) и его документацию на github
(https://github.com/ariya/phantomjs/wiki)

запихиваем бинарник (на ubuntu) в /bin даем нужные права
создаем js файл с инструкциями для phantomjs а дальше можно расстраивать архитектуру как хочешь например использовать очереди для передачи асинхронных задач phantomjs


четверг, 25 июля 2013 г.

[alias] для git

[alias]
        hist = log --pretty=format:\"%h %ad | %s%d [%an]\" --graph --date=short
        co = checkout
        ci = commit
        st = status
        br = branch
        hist = log --pretty=format:\"%h %ad | %s%d [%an]\" --graph --date=short
        type = cat-file -t
        dump = cat-file -p

суббота, 20 июля 2013 г.

начинаем изучать и использовать HTML с нуля за полчаса (или язык разметки для оптимизаторов)

Изучение HTML это долгий и кропотливый процесс. Который потом плавно перетекает в изучение CSS, JS. Так о каких пол часа может итди речь. Но объем работы над изучением языка  прямопропорционально тому  какие результаты мы хотим от него получить. Так например оптимизаторам достаточно создать простой документ с одним h1 заголовком парой текстов и маркированным списком и путатся в открывающихся/закрывающихся тегах вовсе не хочется но  но кажется избежать этого нельзя. Но если поискать решение то можно Markdown и очень просто посмотрите на синтаксис этого языка разметки http://markable.in/file/aa191728-9dc7-11e1-91c7-984be164924a/  попробуйте что нибудь на нем сделать и сохранить http://markable.in/editor/

понедельник, 15 июля 2013 г.

ставим и прокачиваем zsh(супер консоль) в ubuntu

сначала ставим сам z шелл
sudo apt-get install zsh

затем я делаю клон репозитория oh-my-zsh (git должен стоять sudo apt-get install git)
git clone git://github.com/robbyrussell/oh-my-zsh.git ~/.oh-my-zsh

хотя на гит хабе можете посмотреть и другие варианты 
https://github.com/robbyrussell/oh-my-zsh


cd ~/.oh-my-zsh/
chmod u+x ./oh-my-zsh.sh

cp ~/.oh-my-zsh/templates/zshrc.zsh-template ~/.zshrc

chsh -s /bin/zsh

стартуем zsh








указать apache права создаваемых файлов

для того чтобы apache создавал новые файлы 666 и каталоги 777
открываем
 vim /etc/apache2/envvars

и вставляем строчку
umask 000

рестартуем апач

все 

PHP: The Right Way блог програмышки
Яндекс.Метрика