|
|
|
как работает yandex авто ?
|
|||
|---|---|---|---|
|
#18+
IDVsbruck, да, с этой стороны всё чисто. Просто часто отделяют доверенную зону-площадку магазина от рекламных\справочных страниц-вкладок НЕ магазина. - напр, если ты встроил окно перевозчика в окно магазина и товар не привезли. Кто отвечает? - напр, mail.ru \ одноклассники \ банки предупреждают когда по ссылке ты уходишь с доверенной зоны. Т.е. кто отвечает за ошибки твоего парсера или левых данных с сайтов.... Или проект Магазин и проект Перевозчики - одно целое? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.02.2012, 21:13:19 |
|
||
|
как работает yandex авто ?
|
|||
|---|---|---|---|
|
#18+
Petro123- упрощает ссылку выкидывая всё лишнее http://www.bibika.ru/card.php?gidcar=2516999&car=%C7%C0%C7 Это работает до тех пор, пока не будет что-то типа: http://domain.ru/2011/12/12/new-super-news ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.02.2012, 22:15:45 |
|
||
|
как работает yandex авто ?
|
|||
|---|---|---|---|
|
#18+
LeonidvPetro123- упрощает ссылку выкидывая всё лишнее http://www.bibika.ru/card.php?gidcar=2516999&car=%C7%C0%C7 Это работает до тех пор, пока не будет что-то типа: http://domain.ru/2011/12/12/new-super-news точно блин, вот тут тоже не работает http://autopoi.ru/?lat=55.771&lon=37.5654&zoom=4 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.02.2012, 22:30:39 |
|
||
|
как работает yandex авто ?
|
|||
|---|---|---|---|
|
#18+
Petro123IDVsbruck, да, с этой стороны всё чисто. Просто часто отделяют доверенную зону-площадку магазина от рекламных\справочных страниц-вкладок НЕ магазина. - напр, если ты встроил окно перевозчика в окно магазина и товар не привезли. Кто отвечает? - напр, mail.ru \ одноклассники \ банки предупреждают когда по ссылке ты уходишь с доверенной зоны. Т.е. кто отвечает за ошибки твоего парсера или левых данных с сайтов.... Или проект Магазин и проект Перевозчики - одно целое? Ну, ты загнул ... Я ничего не встраивал. На основе отправляемых параметров с сайта перевозчика на своем сервере я получаю ТОЛЬКО стоимость перевоза, которую и показываю покупателю в ордере. Покупатель оплачивает мне стоимость товара вместе со стоимостью пересылки товара через выбранного им самим перевозчика. Если уж так получится, что при отправке товара через этого перевозчика будет расхождение в несколько гривень (стоимость просто не может быть очень высокой или сильно различаться с заявленной), то либо я доплачу этих пару гривень, либо заработаю их (или зачислю покупателю). И хотя перевозчики и пользуются теми же данными, которые опубликованы на их сайтах, но я допускаю, что возможны моменты, когда будет расхождение - обновление, нюансы товара, настроение диспетчера и т.д. P.S. Даже картинку решил приложить ... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.02.2012, 01:08:54 |
|
||
|
как работает yandex авто ?
|
|||
|---|---|---|---|
|
#18+
Упс! Сорри, перепутал форум и думал, что тут будет небольшая миниатюра, а показало всю картинищу ... Модер, плиз, убери. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.02.2012, 01:10:31 |
|
||
|
как работает yandex авто ?
|
|||
|---|---|---|---|
|
#18+
Petro123да, склеивать потом, конечно, до 404 можноСекретарша, которая умеет то, что вы хотите будет стОить дороже junior-а, умеющего такое автоматизировать ;) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.02.2012, 08:00:21 |
|
||
|
как работает yandex авто ?
|
|||
|---|---|---|---|
|
#18+
IDVsbruckЕсли уж так получится, что при отправке товара через этого перевозчика будет расхождение в несколько гривень (стоимость просто не может быть очень высокой или сильно различаться с заявленной), то либо я доплачу этих пару гривень ну это круто. Кто не рискует, тот .... И предупреждение есть, что "Стоимость доставки определяется перевозчиком...". Спасибо за скрин, я так себе и представлял, только без лейб перевозчиков. С лейбами симпатичнее. Удачи! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.02.2012, 10:26:40 |
|
||
|
как работает yandex авто ?
|
|||
|---|---|---|---|
|
#18+
Basil A. SidorovPetro123да, склеивать потом, конечно, до 404 можноСекретарша, которая умеет то, что вы хотите будет стОить дороже junior-а, умеющего такое автоматизировать ;) на каком минимальном количестве сайтов, стоимость твоего раба программиста сравняется с черновым непроизводительным трудом? Я не сомневаюсь, что программист у тебя и тонер меняет, и кабель-каналы тянет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.02.2012, 10:28:44 |
|
||
|
как работает yandex авто ?
|
|||
|---|---|---|---|
|
#18+
Petro123svenomпропущено... Ну тут как бэ поискового робота и нет. Такие штуки именуются scrapper'ами. про scrapper не знал. Это наверно Jav'овское.... Это не джавовоское, это тип ПО - http://en.wikipedia.org/wiki/Web_scraping svenomпропущено... А поисковик ходит в автомате по методу поиска якорей. Как найдёт <a href=" http://www.sql.ru/forum/actualpost.aspx?bid=38"> то и готово - конкатенировать ничего не нужно.Да, вот только если вы не поняли, я поясню - ни я, ни автор топика не делают поисковик. Мы делаем скраперы, это абсолютно разные вещи. Поэтому как там ходит поисковик нам абсолютно фиолетово ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.02.2012, 12:32:46 |
|
||
|
как работает yandex авто ?
|
|||
|---|---|---|---|
|
#18+
svenom, расшифровываю svenomЯ иду в цикле по таким страницам и выдираю из них ссылки, потом иду по ссылкам. это ЦЕЛЬ поисковика. МЕТОДЫ "выдирания" могут быть разными. Ты сказал словами ровно то, что делает робот яндекса\гугла\рамблера и т.д. Можешь сопротивляться и отрицать. Твоё право. И даже назвать ЭТО "просто хожу". Удачи! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.02.2012, 12:44:54 |
|
||
|
как работает yandex авто ?
|
|||
|---|---|---|---|
|
#18+
Petro123это ЦЕЛЬ поисковика. МЕТОДЫ "выдирания" могут быть разными. Ты сказал словами ровно то, что делает робот яндекса\гугла\рамблера и т.д. Можешь сопротивляться и отрицать. Твоё право. И даже назвать ЭТО "просто хожу". Удачи!Вы ссылку про скраперы почитали, не? Цель поисковика - искать любые страницы, что бы потом их же показывать пользователю. Цель скрапера - найти определенные страницы, потом их как-то обработать для нужд конкретного приложения. Все таки почитайте ссылки, что бы не заводить очередной глупый спор, в котором вам приедтся писать всякие глупости. Вот средства, которыми пользуются поисковик - http://en.wikipedia.org/wiki/Web_indexing , http://en.wikipedia.org/wiki/Web_crawling А вот то, о чем говорять автор и я - http://en.wikipedia.org/wiki/Web_scraping ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.02.2012, 13:25:53 |
|
||
|
как работает yandex авто ?
|
|||
|---|---|---|---|
|
#18+
svenom, я же говрю, у нас программисты всё больше - конфигурасты. Вместо того, чтобы разобрать: - как программист В КОДЕ ищет страницы.... программист.... - объясняет что " есть такая группа ПО " Я понял, что ты используешь скрапер для того чтобы ОН нашёл тебе страницы. - завязывай с привычкой отправлять всех в Гугл. Тебе тоже тут предлагали посмотреть другое ПО для твоих целей. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.02.2012, 14:05:06 |
|
||
|
как работает yandex авто ?
|
|||
|---|---|---|---|
|
#18+
В одном был прав "Юный джавист" - как в Java любят всё усложнять. Читаем PHP: Как сделать простой скрепер на PHP без регулярных выражений. авторВеб скреперы - это простые программы, которые используются для того, чтобы извлечь определенные данные с веб страниц. Обычно структура страниц известна, таким образом скреперы имеют менее сложные алгоритмы работы по сравнению с парсерами. В данном уроке мы создадим простой скрепер, который получает заголовок и фавикон с HTML страницы. Обычно скреперы основаны на использовании регулярных выражений, но в данном уроке мы будем их избегать. Вместо них будут использоваться простые строковые функции PHP. итак, что скрывается под этим волшебным словом? - да ничего. Просто кусок кода для определённых целей. Т.е. svenom - уход в сторону от ПРОГРАММИРОВАНИЯ. Только и всего. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.02.2012, 14:17:56 |
|
||
|
как работает yandex авто ?
|
|||
|---|---|---|---|
|
#18+
Оба поста - какой-то поток сознания. Смысла ни там ни там не уловил :( ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.02.2012, 14:27:25 |
|
||
|
как работает yandex авто ?
|
|||
|---|---|---|---|
|
#18+
svenomОба поста - какой-то поток сознания. Смысла ни там ни там не уловил :( смысл прост как 3 рубля - не переводи разговор на скреперы, неинтересно. - если знаешь конкретный или используешь его, то приведи код - IDVsbruck написал конкретно, и даже скрин привёл. А ты всё боишься. Удачи! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.02.2012, 14:47:14 |
|
||
|
как работает yandex авто ?
|
|||
|---|---|---|---|
|
#18+
Petro123svenomОба поста - какой-то поток сознания. Смысла ни там ни там не уловил :( смысл прост как 3 рубля - не переводи разговор на скреперы, неинтересно. - если знаешь конкретный или используешь его, то приведи код - IDVsbruck написал конкретно, и даже скрин привёл. А ты всё боишься. Удачи!Смысла, к сожалению нет, ибо 1) То, о чем говорил автор и есть scrapper в действии. Так что это не я перевожу разговор куда-то, а вы не понимаете какими средставми реализуется то, о чем спросил автор - агрегированый сайт с объявлениями яндекса. Как следствие непонимания - вы постоянно переводите разговор вн е ту плоскость, типо "ищите по якорям" и прочие глупости. 2) Какой код вам надо привести? Зачем вам надо его привести? С какой целью? В топике про код вообще разговор не идет, мы обсуждаем принципы. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.02.2012, 15:40:48 |
|
||
|
как работает yandex авто ?
|
|||
|---|---|---|---|
|
#18+
svenom, svenomДа, вот только если вы не поняли, я поясню - ни я, ни автор топика не делают поисковик. Мы делаем скраперы, это абсолютно разные вещи. Поэтому как там ходит поисковик нам абсолютно фиолетово это ты мне? - зайди в гугл и почитай про скраперы \ роботы поисковиков \ страницы кэша и найди 10 отличий с сабжем. Лучше конкретно и в коде PHP\Java\... Как у нас любят маниакально толкать локтями другие мнения \ способы \ методы ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.02.2012, 16:29:04 |
|
||
|
как работает yandex авто ?
|
|||
|---|---|---|---|
|
#18+
Насколько я понимаю, так: - web crawler собирает с сайтов html-страницы и сохраняет их "как есть" или с минимальной обработкой; - web scarper собирает структурированную информацию с html страниц Т.е. web scarper это подмножество web crawler'ов. Суть, как получать ссылки, не так важна. Можно перебором, но это не всегда сработает. Вот пример гипотетического сайта, который может не сработать и ближе к предметной области: http://all-internet-cars.ru/sell/volvo/12354 http://all-internet-cars.ru/sell/bmw/12355 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.02.2012, 23:05:34 |
|
||
|
как работает yandex авто ?
|
|||
|---|---|---|---|
|
#18+
LeonidvВот пример гипотетического сайта я бы такой сайт никогда не делал ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.02.2012, 14:02:53 |
|
||
|
как работает yandex авто ?
|
|||
|---|---|---|---|
|
#18+
Petro123LeonidvВот пример гипотетического сайта я бы такой сайт никогда не делал Сайты, с которых собирается информация, делаются не тобой. И что там могут придумать - никому не известно. Я очень люблю вспоминать сайт, который всегда возвращал ошибку 404. При в теле статьи он возвращал все корректно - т.е. работать с ним в браузере вполне можно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.02.2012, 19:44:26 |
|
||
|
как работает yandex авто ?
|
|||
|---|---|---|---|
|
#18+
Petro123LeonidvВот пример гипотетического сайта я бы такой сайт никогда не делал Кстати, по запросу /volvo/ здесь вполне может открываться список всех объявлений по Volvo. Так что такая структура вполне себе допустима. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.02.2012, 19:45:14 |
|
||
|
как работает yandex авто ?
|
|||
|---|---|---|---|
|
#18+
LeonidvКстати, по запросу /volvo/ здесь вполне может открываться список всех объявлений по Volvo. Так что такая структура вполне себе допустима. делай так, кто тебе мешает. Я придерживаюсь стандарта и логики маппирования урл-пути на имена функций-процедур. Функция с именем function volvo(.... может быть на ограниченных веб-рессурсах. Со строго ограниченной БЛ. Ты можешь писать даже по русски. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.02.2012, 21:08:32 |
|
||
|
как работает yandex авто ?
|
|||
|---|---|---|---|
|
#18+
Petro123LeonidvКстати, по запросу /volvo/ здесь вполне может открываться список всех объявлений по Volvo. Так что такая структура вполне себе допустима. делай так, кто тебе мешает. Я придерживаюсь стандарта и логики маппирования урл-пути на имена функций-процедур. Такого стандарта нет. Более того, если изучить REST в его сути, поймешь, что есть полностью противоположные идеи. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.02.2012, 21:11:27 |
|
||
|
как работает yandex авто ?
|
|||
|---|---|---|---|
|
#18+
Ты никак понять не можешь - есть как пишешь ты, есть как пишу я. А есть как пишет программист того самого сайта, с которого надо считать данные. И гарантировать, что он не придумает какую-нибудь хитрую вещь (например, в целях защиты от того сбора информации) ты не можешь. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.02.2012, 21:13:34 |
|
||
|
|

start [/forum/topic.php?fid=59&msg=37657107&tid=2132585]: |
0ms |
get settings: |
9ms |
get forum list: |
19ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
37ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
66ms |
get tp. blocked users: |
2ms |
| others: | 321ms |
| total: | 473ms |

| 0 / 0 |
