|
|
| Клиент-просмотрщик для сайта Epidem.ru / Epidemz.net |
| |
|
| antonn (08-02-2011 23:44) цитата | #1303 |
Попросил меня один человек написать парсер новостей в обход rss, с прямыми линками на закачки и изображения. Я дооформил этот парсер в простой клиент.
Программа закачивает новости из выбранных категорий (поддерживаются категории "Фильмы/Телепередачи/Сериалы/Эротика"), автоматически закачивает полные изображения (капсы, снимки кадров) с ресурсов epikz.net, fastpic.ru, radikal.ru, pic4you.ru (позже расширю список поддерживаемых обменников) и сохраняет их локально. Можно запустить обновление, заняться своим делом, а потом неспешно просматривать закачанные новости, без рекламы и вирусных яваскриптов. Удаленные новости так же останутся у вас на винчестере.
Клиент представляется серверу как одна из версий IE, но позже я сделаю выбор useragent'ов с возможностью случайного выбора при запуске. Скачивание ведется в два потока (в дальнейшем сделаю этот параметр настраиваемым) и строго по очереди, так, как если бы вы просматривали сайт через обычный браузер. Поэтому этот клиент нельзя выделить в запросах к серверу и запретить его.
Интерфейс программы прост: http://antonn.com/ecl/ecl.jpg
Скриншоты окна с полностью закачанными новостями:
http://antonn.com/ecl/ecl_long1.jpg
http://antonn.com/ecl/ecl_long2.jpg
Для хранения текстовых данных используется sqlite, изображения кешируются в папке "img" (их может быть много при долгом использовании клиента, т.к. очистки пока не сделано). Клиент опрашивает первые 20 страниц сайта, поэтому первое обновление категории будет очень долгим, рекомендую обновить 2-3 страницы и закрыть программу. При последующем открытии докачиваться будут только новые новости.
Чуть позже сделаю настройку прокси и очистку старых новостей. | |
|
 |
|
|
| MaDoG (09-02-2011 23:21) [2] цитата | #1305 |
| А почему не разместишь новость на самом эпидеме? | |
|
|
| antonn (10-02-2011 14:57) [3] цитата | #1306 |
Они как-то не очень хотят сотрудничать :)
Понятное дело, если реклама не грузится, вирусняки из банерных сетей тоже, а утекает только полезная информация - ужас ведь =) Я бы мог "дергать" счетчики в фоне и некоторые банеры, но раз не хотят - путь будет так :) | |
|
|
| MaDoG (12-02-2011 23:20) [4] цитата | #1307 |
| Ну а так кто узнает о программе? | |
|
|
| Попугайко (27-02-2011 00:11) [5] цитата | #1308 |
| Иногда программа пытается скачать "Прямая%20ссылка%20c%20epikz.net%20(---%20x%20600)%20пикселей" вместо картинки, перезагрузка не помогает. | |
|
|
| antonn (01-03-2011 22:29) [6] цитата | #1309 |
| Угу, бывает не то парсит, я немного кривую регулярку наваял | |
|
|
| ыва (16-05-2011 15:16) [7] цитата | #1318 |
| ываыфва | |
|
|
| dimag0g (13-07-2011 19:31) [8] цитата | #1341 |
| Программа не работает с неродной кодовой страницей. Не могли бы Вы собрать UNICODE-версию? | |
|
|
| dimag0g (13-07-2011 20:08) [9] цитата | #1342 |
| И ещё, категория "про это" не парсится, очевидно, Ваш парсер не умеет представляться совершеннолетним =) | |
|
|
| Страницы: 1 |
| Статистика темы |
