Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / Программирование [игнор отключен] [закрыт для гостей] / На чём проще написать бота для сайта / 15 сообщений из 15, страница 1 из 1
07.09.2011, 10:31
    #37428422
Scetcher
Scetcher
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
На чём проще написать бота для сайта
хочу написать бота, для собственного пользования.
Планируется, что бот будет искать в определённом разделе сайта объявления, подходящие по критерию
и выдавать на выходе набор ссылок (или лучше текст объявления).
Как с тех. точки зрения лучше сделать? как плагин к FF или развернуть php -сервер?
знаю с++,Python,java.

заранее благодарю за ответы.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
07.09.2011, 10:46
    #37428458
ShSerge
ShSerge
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
На чём проще написать бота для сайта
Десктопное приложение на яве или сях. На яве, имхо, проще.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
07.09.2011, 11:21
    #37428571
Voral
Voral
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
На чём проще написать бота для сайта
ScetcherКак с тех. точки зрения лучше сделать? как плагин к FF или развернуть php -сервер?
знаю с++,Python,java.

На том языке который вы лучше знаете. На котором точно знаете как получить страницу и ее распарсить.
Лично я сделал бы на php (хотя основной C++).

PS php-сервер - че за зверь такой? :)
Вообще то php - всего лишь язык программирования, без всякой серверной части или функционала
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
07.09.2011, 11:24
    #37428584
Voral
Voral
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
На чём проще написать бота для сайта
Хотя если в качестве задачи некий сервис/демон пишущий ссылки, объявления в базу. (т.е. работающий неограниченное количество времени) -возможно выбрал бы С++
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
07.09.2011, 13:30
    #37428912
Яростный Меч
Яростный Меч
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
На чём проще написать бота для сайта
Scetcher,

а как это приложение будет работать? Смотреть страницу, которую ты видишь в браузере? или постоянно самостоятельно ходить по сайту, без твоего участия?

В первом случае - обычный юзерскрипт для greasemonkey, во втором - можно вин-сервис на сишарпе забабахать.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
07.09.2011, 14:21
    #37429026
Scetcher
Scetcher
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
На чём проще написать бота для сайта
Яростный Меч,

Самостоятельно ходить по сайту, после чего по требованию открывать ссылки на найденные объявления в браузере(или сбрасывать их в файл , бд и т.п.).

C# не люблю :)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
07.09.2011, 14:28
    #37429048
NMN
NMN
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
На чём проще написать бота для сайта
Я писал и на делфи. Сейчас хочу тоже нечто подобное сделать. И буду реализовывать на Python с использованием специально для прасинга Beautiful Soup. Вообще к чему душа ближе ляжет и где решений больше на том и пишите. Но вот в питоне уже готовое есть, поэтому....
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
07.09.2011, 14:32
    #37429058
Яростный Меч
Яростный Меч
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
На чём проще написать бота для сайта
NMNНо вот в питоне уже готовое есть, поэтому....а что там готовое-то? в том же шарпе: пара строк на загрузку страницы, регекс для парсинга, вот и всего делофф.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
07.09.2011, 15:07
    #37429165
Voral
Voral
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
На чём проще написать бота для сайта
Яростный Меча что там готовое-то? в том же шарпе: пара строк на загрузку страницы, регекс для парсинга, вот и всего делофф.
На bash
Код: plaintext
1.
2.
wget  ....  //загрузили
sed .... // пропарсили и для полученного, при необходимости, запустили скрипт/команду

Только вот стоит ли ТС изучать bash и команды linux если он владеет другим инструментом? ;)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
07.09.2011, 15:20
    #37429210
NMN
NMN
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
На чём проще написать бота для сайта
Яростный Меч,

прошу ознакомится http://wiki.python.su/Beautiful_Soup и сказать что из этого можно сразу в шарпе повторить(хотя все равно автору шарп не подуше), но мне было бы интересно для сравнения услышать ответ. Я могу наперед сказать, что регулярка только отфильтрует, но не даст она "кликнуть" на найденом. Так что количество приседаний в питоне будет меньше.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
07.09.2011, 15:22
    #37429215
авторh
авторh
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
На чём проще написать бота для сайта
Scetcherхочу написать бота, для собственного пользования.
Планируется, что бот будет искать в определённом разделе сайта объявления, подходящие по критерию
и выдавать на выходе набор ссылок (или лучше текст объявления).
Как с тех. точки зрения лучше сделать? как плагин к FF или развернуть php -сервер?
знаю с++,Python,java.

заранее благодарю за ответы.

Легче всего имхо использовать связку Python + pyCurl + BeautifulSoup. У меня с ней головной боли не было.

Может urllib ещё удобен.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
07.09.2011, 15:29
    #37429233
NMN
NMN
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
На чём проще написать бота для сайта
В догонку. Шарп думаю битую DOM на странице не разеберет. Прогеры вполне могут защищатся такими методами, во вторых закаченная страница не всегда, то что мы видим в браузере (JS никто не отменял!), куки и фиг знает что еще могут навернуть.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
07.09.2011, 17:49
    #37429564
Scetcher
Scetcher
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
На чём проще написать бота для сайта
Благодарю, господа.
буду пробовать на пайтоне
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
14.09.2011, 17:10
    #37440461
netwind
netwind
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
На чём проще написать бота для сайта
авторimport urllib2
from BeautifulSoup import BeautifulSoup

page = urllib2.urlopen(" http://www.icc-ccs.org/prc/piracyreport.php")
soup = BeautifulSoup(page)
for incident in soup('td', width="90%"):
where, linebreak, what = incident.contents[:3]
print where.strip()
print what.strip()
print



ну вот кто все эти люди, которые пытаются интенсифицировать труд программиста, оставляя его все с теми же унылыми императивным методами?
SQL, значит, все освоили, а дальше по этой же дорожке шагнуть нельзя ? или не освоили SQL?

TC, XPath изучай. В нем сила.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
14.09.2011, 19:21
    #37440683
mayton
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
На чём проще написать бота для сайта
NMNВ догонку. Шарп думаю битую DOM на странице не разеберет. Прогеры вполне могут защищатся такими методами, во вторых закаченная страница не всегда, то что мы видим в браузере (JS никто не отменял!), куки и фиг знает что еще могут навернуть.
Думаю что эта проблема не лежит в плоскости Шарпа.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / Программирование [игнор отключен] [закрыт для гостей] / На чём проще написать бота для сайта / 15 сообщений из 15, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение  
Полит. конфиден.  
созд. / загр.: 286ms
Закрыть
start [/forum/topic.php?fid=16&mobile=1&tid=1342738]:
 0ms
get settings:
 9ms
get forum list:
 11ms
check forum access:
 2ms
check topic access:
 2ms
track hit:
 26ms
get topic data:
 6ms
get forum data:
 1ms
get page messages:
 27ms
get tp. blocked users:
 1ms
others: 201ms
total:  286ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]