ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Программирование [игнор отключен] [закрыт для гостей] / На чём проще написать бота для сайта
15 сообщений из 15, страница 1 из 1
На чём проще написать бота для сайта
    #37428422
Scetcher
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Scetcher
Гость
хочу написать бота, для собственного пользования.
Планируется, что бот будет искать в определённом разделе сайта объявления, подходящие по критерию
и выдавать на выходе набор ссылок (или лучше текст объявления).
Как с тех. точки зрения лучше сделать? как плагин к FF или развернуть php -сервер?
знаю с++,Python,java.

заранее благодарю за ответы.
...
Рейтинг: 0 / 0
07.09.2011, 10:31
| Ответить | Цитировать | Написать  
На чём проще написать бота для сайта
    #37428458
ShSerge
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ShSerge
Участник
Десктопное приложение на яве или сях. На яве, имхо, проще.
...
Рейтинг: 0 / 0
07.09.2011, 10:46
| Ответить | Цитировать | Написать  
На чём проще написать бота для сайта
    #37428571
Voral
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Voral
Гость
ScetcherКак с тех. точки зрения лучше сделать? как плагин к FF или развернуть php -сервер?
знаю с++,Python,java.

На том языке который вы лучше знаете. На котором точно знаете как получить страницу и ее распарсить.
Лично я сделал бы на php (хотя основной C++).

PS php-сервер - че за зверь такой? :)
Вообще то php - всего лишь язык программирования, без всякой серверной части или функционала
...
Рейтинг: 0 / 0
07.09.2011, 11:21
| Ответить | Цитировать | Написать  
На чём проще написать бота для сайта
    #37428584
Voral
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Voral
Гость
Хотя если в качестве задачи некий сервис/демон пишущий ссылки, объявления в базу. (т.е. работающий неограниченное количество времени) -возможно выбрал бы С++
...
Рейтинг: 0 / 0
07.09.2011, 11:24
| Ответить | Цитировать | Написать  
На чём проще написать бота для сайта
    #37428912
Фотография Яростный Меч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Яростный Меч
Участник
Scetcher,

а как это приложение будет работать? Смотреть страницу, которую ты видишь в браузере? или постоянно самостоятельно ходить по сайту, без твоего участия?

В первом случае - обычный юзерскрипт для greasemonkey, во втором - можно вин-сервис на сишарпе забабахать.
...
Рейтинг: 0 / 0
07.09.2011, 13:30
| Ответить | Цитировать | Написать  
На чём проще написать бота для сайта
    #37429026
Scetcher
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Scetcher
Гость
Яростный Меч,

Самостоятельно ходить по сайту, после чего по требованию открывать ссылки на найденные объявления в браузере(или сбрасывать их в файл , бд и т.п.).

C# не люблю :)
...
Рейтинг: 0 / 0
07.09.2011, 14:21
| Ответить | Цитировать | Написать  
На чём проще написать бота для сайта
    #37429048
NMN
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
NMN
Гость
Я писал и на делфи. Сейчас хочу тоже нечто подобное сделать. И буду реализовывать на Python с использованием специально для прасинга Beautiful Soup. Вообще к чему душа ближе ляжет и где решений больше на том и пишите. Но вот в питоне уже готовое есть, поэтому....
...
Рейтинг: 0 / 0
07.09.2011, 14:28
| Ответить | Цитировать | Написать  
На чём проще написать бота для сайта
    #37429058
Фотография Яростный Меч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Яростный Меч
Участник
NMNНо вот в питоне уже готовое есть, поэтому....а что там готовое-то? в том же шарпе: пара строк на загрузку страницы, регекс для парсинга, вот и всего делофф.
...
Рейтинг: 0 / 0
07.09.2011, 14:32
| Ответить | Цитировать | Написать  
На чём проще написать бота для сайта
    #37429165
Voral
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Voral
Гость
Яростный Меча что там готовое-то? в том же шарпе: пара строк на загрузку страницы, регекс для парсинга, вот и всего делофф.
На bash
Код: plaintext
1.
2.
wget  ....  //загрузили
sed .... // пропарсили и для полученного, при необходимости, запустили скрипт/команду

Только вот стоит ли ТС изучать bash и команды linux если он владеет другим инструментом? ;)
...
Рейтинг: 0 / 0
07.09.2011, 15:07
| Ответить | Цитировать | Написать  
На чём проще написать бота для сайта
    #37429210
NMN
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
NMN
Гость
Яростный Меч,

прошу ознакомится http://wiki.python.su/Beautiful_Soup и сказать что из этого можно сразу в шарпе повторить(хотя все равно автору шарп не подуше), но мне было бы интересно для сравнения услышать ответ. Я могу наперед сказать, что регулярка только отфильтрует, но не даст она "кликнуть" на найденом. Так что количество приседаний в питоне будет меньше.
...
Рейтинг: 0 / 0
07.09.2011, 15:20
| Ответить | Цитировать | Написать  
На чём проще написать бота для сайта
    #37429215
авторh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
авторh
Участник
Scetcherхочу написать бота, для собственного пользования.
Планируется, что бот будет искать в определённом разделе сайта объявления, подходящие по критерию
и выдавать на выходе набор ссылок (или лучше текст объявления).
Как с тех. точки зрения лучше сделать? как плагин к FF или развернуть php -сервер?
знаю с++,Python,java.

заранее благодарю за ответы.

Легче всего имхо использовать связку Python + pyCurl + BeautifulSoup. У меня с ней головной боли не было.

Может urllib ещё удобен.
...
Рейтинг: 0 / 0
07.09.2011, 15:22
| Ответить | Цитировать | Написать  
На чём проще написать бота для сайта
    #37429233
NMN
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
NMN
Гость
В догонку. Шарп думаю битую DOM на странице не разеберет. Прогеры вполне могут защищатся такими методами, во вторых закаченная страница не всегда, то что мы видим в браузере (JS никто не отменял!), куки и фиг знает что еще могут навернуть.
...
Рейтинг: 0 / 0
07.09.2011, 15:29
| Ответить | Цитировать | Написать  
На чём проще написать бота для сайта
    #37429564
Scetcher
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Scetcher
Гость
Благодарю, господа.
буду пробовать на пайтоне
...
Рейтинг: 0 / 0
07.09.2011, 17:49
| Ответить | Цитировать | Написать  
На чём проще написать бота для сайта
    #37440461
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
netwind
Участник
авторimport urllib2
from BeautifulSoup import BeautifulSoup

page = urllib2.urlopen(" http://www.icc-ccs.org/prc/piracyreport.php")
soup = BeautifulSoup(page)
for incident in soup('td', width="90%"):
where, linebreak, what = incident.contents[:3]
print where.strip()
print what.strip()
print



ну вот кто все эти люди, которые пытаются интенсифицировать труд программиста, оставляя его все с теми же унылыми императивным методами?
SQL, значит, все освоили, а дальше по этой же дорожке шагнуть нельзя ? или не освоили SQL?

TC, XPath изучай. В нем сила.
...
Рейтинг: 0 / 0
14.09.2011, 17:10
| Ответить | Цитировать | Написать  
На чём проще написать бота для сайта
    #37440683
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
NMNВ догонку. Шарп думаю битую DOM на странице не разеберет. Прогеры вполне могут защищатся такими методами, во вторых закаченная страница не всегда, то что мы видим в браузере (JS никто не отменял!), куки и фиг знает что еще могут навернуть.
Думаю что эта проблема не лежит в плоскости Шарпа.
...
Рейтинг: 0 / 0
14.09.2011, 19:21
| Ответить | Цитировать | Написать  
15 сообщений из 15, страница 1 из 1
Форумы / Программирование [игнор отключен] [закрыт для гостей] / На чём проще написать бота для сайта
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=16&fpage=80&tid=1342738]:
 0ms
get settings:
 9ms
get forum list:
 15ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 48ms
get topic data:
 12ms
get forum data:
 2ms
get page messages:
 51ms
get tp. blocked users:
 1ms
others: 245ms
total:  389ms
созд. / загр.: 389ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]