Html Agility Pack — удобный .NET парсер HTML

Всем привет! Как-то раз мне пришла в голову идея проанализировать вакансии размещенные на Хабре. Конкретно интересовало, есть ли зависимость между размером зарплаты и наличия высшего образования. А еще сейчас у студентов идет сессия (в том числе и у меня), то возможно кому-то уже надоело трепать нервы на экзаменах и этот анализ будет полезен. Так как […]

Читать далее…

Парсинг сайтов с помощью SlimerJS

В виду отсутствия хорошего материала по парсингу с помощью скриптового браузера SlimerJS и наличия свободного времени решил написать небольшую статью. О том, как спарсить товары из интернет-магазина читайте здесь Начало работы Для того, чтобы начать работать со SlimerJs, необходимо скачать последнюю версию скриптового браузера (я обычно качаю полную версию, в которую включен XulRunner, позволяющий запускать […]

Читать далее…

Парсинг интернет-магазинов. Немного примера

Разделим парсинг (скраппинг) сайтов на две подзадачи. Собственно сам парсинг – поиск данных, которые нам интересны на страницах. Осмысливание полученных данных. Вначале опишем приложения: Парсер «постоянной» информации о товарах с сайта. Этот парсер будет запускаться редко (исключительно для проверки наличия новых товаров), будет разбирать страницы и извлекать из них информацию о товаре: наименование, фотографии, свойства. […]

Читать далее…