КурилкаВход | Регистрация
Новости | Поиск | ПользователиОбзор форумов / Общая конференция / Курилка / Опросы / TD
Конференция «Общая конференция»
Страницы:  1
Клиент-просмотрщик для сайта Epidem.ru / Epidemz.net
 
antonn  (08-02-2011 23:44) цитата#1303 
Попросил меня один человек написать парсер новостей в обход rss, с прямыми линками на закачки и изображения. Я дооформил этот парсер в простой клиент.
Программа закачивает новости из выбранных категорий (поддерживаются категории "Фильмы/Телепередачи/Сериалы/Эротика"), автоматически закачивает полные изображения (капсы, снимки кадров) с ресурсов epikz.net, fastpic.ru, radikal.ru, pic4you.ru (позже расширю список поддерживаемых обменников) и сохраняет их локально. Можно запустить обновление, заняться своим делом, а потом неспешно просматривать закачанные новости, без рекламы и вирусных яваскриптов. Удаленные новости так же останутся у вас на винчестере.
Клиент представляется серверу как одна из версий IE, но позже я сделаю выбор useragent'ов с возможностью случайного выбора при запуске. Скачивание ведется в два потока (в дальнейшем сделаю этот параметр настраиваемым) и строго по очереди, так, как если бы вы просматривали сайт через обычный браузер. Поэтому этот клиент нельзя выделить в запросах к серверу и запретить его.

Интерфейс программы прост: http://antonn.com/ecl/ecl.jpg

Скриншоты окна с полностью закачанными новостями:
http://antonn.com/ecl/ecl_long1.jpg
http://antonn.com/ecl/ecl_long2.jpg

Для хранения текстовых данных используется sqlite, изображения кешируются в папке "img" (их может быть много при долгом использовании клиента, т.к. очистки пока не сделано). Клиент опрашивает первые 20 страниц сайта, поэтому первое обновление категории будет очень долгим, рекомендую обновить 2-3 страницы и закрыть программу. При последующем открытии докачиваться будут только новые новости.

Чуть позже сделаю настройку прокси и очистку старых новостей.
 
antonn  (08-02-2011 23:46[1] цитата#1304 
Забыл ссылку на программу :)
http://antonn.com/ecl/epidem_client.zip (900кб)

Зеркало: https://rapidshare.com/files/458185123/epidem_client.zip
 
MaDoG  (09-02-2011 23:21[2] цитата#1305 
А почему не разместишь новость на самом эпидеме? 
antonn  (10-02-2011 14:57[3] цитата#1306 
Они как-то не очень хотят сотрудничать :)
Понятное дело, если реклама не грузится, вирусняки из банерных сетей тоже, а утекает только полезная информация - ужас ведь =) Я бы мог "дергать" счетчики в фоне и некоторые банеры, но раз не хотят - путь будет так :)
 
MaDoG  (12-02-2011 23:20[4] цитата#1307 
Ну а так кто узнает о программе? 
Попугайко  (27-02-2011 00:11[5] цитата#1308 
Иногда программа пытается скачать "Прямая%20ссылка%20c%20epikz.net%20(---%20x%20600)%20пикселей" вместо картинки, перезагрузка не помогает. 
antonn  (01-03-2011 22:29[6] цитата#1309 
Угу, бывает не то парсит, я немного кривую регулярку наваял 
ыва  (16-05-2011 15:16[7] цитата#1318 
ываыфва 
dimag0g  (13-07-2011 19:31[8] цитата#1341 
Программа не работает с неродной кодовой страницей. Не могли бы Вы собрать UNICODE-версию? 
dimag0g  (13-07-2011 20:08[9] цитата#1342 
И ещё, категория "про это" не парсится, очевидно, Ваш парсер не умеет представляться совершеннолетним =) 
Страницы:  1
Статистика темы
Написать ответ
Автор:
 
 Защита от спамботовВведите ответ:
Сейчас на сайте: 1 гость
Пользователи: Нет зарегистрированных пользователей
mdforum v0.93 
93/233 (918427/10234581)