powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Java [игнор отключен] [закрыт для гостей] / как работает yandex авто ?
25 сообщений из 51, страница 2 из 3
как работает yandex авто ?
    #37656696
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
IDVsbruck,
да, с этой стороны всё чисто.
Просто часто отделяют доверенную зону-площадку магазина от рекламных\справочных страниц-вкладок НЕ магазина.
- напр, если ты встроил окно перевозчика в окно магазина и товар не привезли. Кто отвечает?
- напр, mail.ru \ одноклассники \ банки предупреждают когда по ссылке ты уходишь с доверенной зоны.
Т.е. кто отвечает за ошибки твоего парсера или левых данных с сайтов....
Или проект Магазин и проект Перевозчики - одно целое?
...
Рейтинг: 0 / 0
как работает yandex авто ?
    #37656736
Leonidv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Petro123- упрощает ссылку выкидывая всё лишнее
http://www.bibika.ru/card.php?gidcar=2516999&car=%C7%C0%C7

Это работает до тех пор, пока не будет что-то типа:
http://domain.ru/2011/12/12/new-super-news
...
Рейтинг: 0 / 0
как работает yandex авто ?
    #37656751
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
LeonidvPetro123- упрощает ссылку выкидывая всё лишнее
http://www.bibika.ru/card.php?gidcar=2516999&car=%C7%C0%C7

Это работает до тех пор, пока не будет что-то типа:
http://domain.ru/2011/12/12/new-super-news
точно блин, вот тут тоже не работает
http://autopoi.ru/?lat=55.771&lon=37.5654&zoom=4
...
Рейтинг: 0 / 0
как работает yandex авто ?
    #37656868
IDVsbruck
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Petro123IDVsbruck,
да, с этой стороны всё чисто.
Просто часто отделяют доверенную зону-площадку магазина от рекламных\справочных страниц-вкладок НЕ магазина.
- напр, если ты встроил окно перевозчика в окно магазина и товар не привезли. Кто отвечает?
- напр, mail.ru \ одноклассники \ банки предупреждают когда по ссылке ты уходишь с доверенной зоны.
Т.е. кто отвечает за ошибки твоего парсера или левых данных с сайтов....
Или проект Магазин и проект Перевозчики - одно целое?
Ну, ты загнул ...
Я ничего не встраивал. На основе отправляемых параметров с сайта перевозчика на своем сервере я получаю ТОЛЬКО стоимость перевоза, которую и показываю покупателю в ордере. Покупатель оплачивает мне стоимость товара вместе со стоимостью пересылки товара через выбранного им самим перевозчика. Если уж так получится, что при отправке товара через этого перевозчика будет расхождение в несколько гривень (стоимость просто не может быть очень высокой или сильно различаться с заявленной), то либо я доплачу этих пару гривень, либо заработаю их (или зачислю покупателю). И хотя перевозчики и пользуются теми же данными, которые опубликованы на их сайтах, но я допускаю, что возможны моменты, когда будет расхождение - обновление, нюансы товара, настроение диспетчера и т.д.

P.S. Даже картинку решил приложить ...
...
Рейтинг: 0 / 0
как работает yandex авто ?
    #37656869
IDVsbruck
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Упс! Сорри, перепутал форум и думал, что тут будет небольшая миниатюра, а показало всю картинищу ... Модер, плиз, убери.
...
Рейтинг: 0 / 0
как работает yandex авто ?
    #37656934
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Petro123да, склеивать потом, конечно, до 404 можноСекретарша, которая умеет то, что вы хотите будет стОить дороже junior-а, умеющего такое автоматизировать ;)
...
Рейтинг: 0 / 0
как работает yandex авто ?
    #37656959
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
IDVsbruckЕсли уж так получится, что при отправке товара через этого перевозчика будет расхождение в несколько гривень (стоимость просто не может быть очень высокой или сильно различаться с заявленной), то либо я доплачу этих пару гривень
ну это круто. Кто не рискует, тот ....
И предупреждение есть, что "Стоимость доставки определяется перевозчиком...".
Спасибо за скрин, я так себе и представлял, только без лейб перевозчиков.
С лейбами симпатичнее.
Удачи!
...
Рейтинг: 0 / 0
как работает yandex авто ?
    #37656960
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Basil A. SidorovPetro123да, склеивать потом, конечно, до 404 можноСекретарша, которая умеет то, что вы хотите будет стОить дороже junior-а, умеющего такое автоматизировать ;)
на каком минимальном количестве сайтов, стоимость твоего раба программиста сравняется с черновым непроизводительным трудом?
Я не сомневаюсь, что программист у тебя и тонер меняет, и кабель-каналы тянет.
...
Рейтинг: 0 / 0
как работает yandex авто ?
    #37657023
svenom
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Petro123svenomпропущено...
Ну тут как бэ поискового робота и нет. Такие штуки именуются scrapper'ами.
про scrapper не знал. Это наверно Jav'овское....
Это не джавовоское, это тип ПО - http://en.wikipedia.org/wiki/Web_scraping

svenomпропущено...
А поисковик ходит в автомате по методу поиска якорей.
Как найдёт
<a href=" http://www.sql.ru/forum/actualpost.aspx?bid=38">
то и готово - конкатенировать ничего не нужно.Да, вот только если вы не поняли, я поясню - ни я, ни автор топика не делают поисковик. Мы делаем скраперы, это абсолютно разные вещи. Поэтому как там ходит поисковик нам абсолютно фиолетово
...
Рейтинг: 0 / 0
как работает yandex авто ?
    #37657034
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
svenom,
расшифровываю
svenomЯ иду в цикле по таким страницам и выдираю из них ссылки, потом иду по ссылкам.
это ЦЕЛЬ поисковика.
МЕТОДЫ "выдирания" могут быть разными.
Ты сказал словами ровно то, что делает робот яндекса\гугла\рамблера и т.д.
Можешь сопротивляться и отрицать. Твоё право. И даже назвать ЭТО "просто хожу".
Удачи!
...
Рейтинг: 0 / 0
как работает yandex авто ?
    #37657060
svenom
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Petro123это ЦЕЛЬ поисковика.
МЕТОДЫ "выдирания" могут быть разными.
Ты сказал словами ровно то, что делает робот яндекса\гугла\рамблера и т.д.
Можешь сопротивляться и отрицать. Твоё право. И даже назвать ЭТО "просто хожу".
Удачи!Вы ссылку про скраперы почитали, не? Цель поисковика - искать любые страницы, что бы потом их же показывать пользователю. Цель скрапера - найти определенные страницы, потом их как-то обработать для нужд конкретного приложения.
Все таки почитайте ссылки, что бы не заводить очередной глупый спор, в котором вам приедтся писать всякие глупости.
Вот средства, которыми пользуются поисковик - http://en.wikipedia.org/wiki/Web_indexing , http://en.wikipedia.org/wiki/Web_crawling
А вот то, о чем говорять автор и я - http://en.wikipedia.org/wiki/Web_scraping
...
Рейтинг: 0 / 0
как работает yandex авто ?
    #37657076
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
svenom,
я же говрю, у нас программисты всё больше - конфигурасты. Вместо того, чтобы разобрать:
- как программист В КОДЕ ищет страницы....
программист....
- объясняет что " есть такая группа ПО "
Я понял, что ты используешь скрапер для того чтобы ОН нашёл тебе страницы.
- завязывай с привычкой отправлять всех в Гугл.
Тебе тоже тут предлагали посмотреть другое ПО для твоих целей.
...
Рейтинг: 0 / 0
как работает yandex авто ?
    #37657083
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
В одном был прав "Юный джавист" - как в Java любят всё усложнять.
Читаем
PHP: Как сделать простой скрепер на PHP без регулярных выражений.
авторВеб скреперы - это простые программы, которые используются для того, чтобы извлечь определенные данные с веб страниц. Обычно структура страниц известна, таким образом скреперы имеют менее сложные алгоритмы работы по сравнению с парсерами.

В данном уроке мы создадим простой скрепер, который получает заголовок и фавикон с HTML страницы.

Обычно скреперы основаны на использовании регулярных выражений, но в данном уроке мы будем их избегать. Вместо них будут использоваться простые строковые функции PHP.

итак, что скрывается под этим волшебным словом?
- да ничего. Просто кусок кода для определённых целей.
Т.е. svenom - уход в сторону от ПРОГРАММИРОВАНИЯ. Только и всего.
...
Рейтинг: 0 / 0
как работает yandex авто ?
    #37657091
svenom
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Оба поста - какой-то поток сознания. Смысла ни там ни там не уловил :(
...
Рейтинг: 0 / 0
как работает yandex авто ?
    #37657107
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
svenomОба поста - какой-то поток сознания. Смысла ни там ни там не уловил :(
смысл прост как 3 рубля
- не переводи разговор на скреперы, неинтересно.
- если знаешь конкретный или используешь его, то приведи код
- IDVsbruck написал конкретно, и даже скрин привёл. А ты всё боишься.
Удачи!
...
Рейтинг: 0 / 0
как работает yandex авто ?
    #37657153
svenom
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Petro123svenomОба поста - какой-то поток сознания. Смысла ни там ни там не уловил :(
смысл прост как 3 рубля
- не переводи разговор на скреперы, неинтересно.
- если знаешь конкретный или используешь его, то приведи код
- IDVsbruck написал конкретно, и даже скрин привёл. А ты всё боишься.
Удачи!Смысла, к сожалению нет, ибо
1) То, о чем говорил автор и есть scrapper в действии. Так что это не я перевожу разговор куда-то, а вы не понимаете какими средставми реализуется то, о чем спросил автор - агрегированый сайт с объявлениями яндекса. Как следствие непонимания - вы постоянно переводите разговор вн е ту плоскость, типо "ищите по якорям" и прочие глупости.
2) Какой код вам надо привести? Зачем вам надо его привести? С какой целью? В топике про код вообще разговор не идет, мы обсуждаем принципы.
...
Рейтинг: 0 / 0
как работает yandex авто ?
    #37657192
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
svenom,
svenomДа, вот только если вы не поняли, я поясню - ни я, ни автор топика не делают поисковик. Мы делаем скраперы, это абсолютно разные вещи. Поэтому как там ходит поисковик нам абсолютно фиолетово
это ты мне?
- зайди в гугл и почитай про скраперы \ роботы поисковиков \ страницы кэша и найди 10 отличий с сабжем.
Лучше конкретно и в коде PHP\Java\...
Как у нас любят маниакально толкать локтями другие мнения \ способы \ методы
...
Рейтинг: 0 / 0
как работает yandex авто ?
    #37657446
Leonidv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Насколько я понимаю, так:
- web crawler собирает с сайтов html-страницы и сохраняет их "как есть" или с минимальной обработкой;
- web scarper собирает структурированную информацию с html страниц
Т.е. web scarper это подмножество web crawler'ов. Суть, как получать ссылки, не так важна. Можно перебором, но это не всегда сработает. Вот пример гипотетического сайта, который может не сработать и ближе к предметной области:
http://all-internet-cars.ru/sell/volvo/12354
http://all-internet-cars.ru/sell/bmw/12355
...
Рейтинг: 0 / 0
как работает yandex авто ?
    #37657733
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
LeonidvВот пример гипотетического сайта
я бы такой сайт никогда не делал
...
Рейтинг: 0 / 0
как работает yandex авто ?
    #37658013
Leonidv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Petro123LeonidvВот пример гипотетического сайта
я бы такой сайт никогда не делал
Сайты, с которых собирается информация, делаются не тобой. И что там могут придумать - никому не известно. Я очень люблю вспоминать сайт, который всегда возвращал ошибку 404. При в теле статьи он возвращал все корректно - т.е. работать с ним в браузере вполне можно.
...
Рейтинг: 0 / 0
как работает yandex авто ?
    #37658015
Leonidv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Petro123LeonidvВот пример гипотетического сайта
я бы такой сайт никогда не делал
Кстати, по запросу /volvo/ здесь вполне может открываться список всех объявлений по Volvo. Так что такая структура вполне себе допустима.
...
Рейтинг: 0 / 0
как работает yandex авто ?
    #37658071
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
LeonidvКстати, по запросу /volvo/ здесь вполне может открываться список всех объявлений по Volvo. Так что такая структура вполне себе допустима.
делай так, кто тебе мешает.
Я придерживаюсь стандарта и логики маппирования урл-пути на имена функций-процедур.
Функция с именем
function volvo(....
может быть на ограниченных веб-рессурсах. Со строго ограниченной БЛ.
Ты можешь писать даже по русски.
...
Рейтинг: 0 / 0
как работает yandex авто ?
    #37658073
Leonidv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Petro123LeonidvКстати, по запросу /volvo/ здесь вполне может открываться список всех объявлений по Volvo. Так что такая структура вполне себе допустима.
делай так, кто тебе мешает.
Я придерживаюсь стандарта и логики маппирования урл-пути на имена функций-процедур.

Такого стандарта нет. Более того, если изучить REST в его сути, поймешь, что есть полностью противоположные идеи.
...
Рейтинг: 0 / 0
как работает yandex авто ?
    #37658076
Leonidv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ты никак понять не можешь - есть как пишешь ты, есть как пишу я. А есть как пишет программист того самого сайта, с которого надо считать данные. И гарантировать, что он не придумает какую-нибудь хитрую вещь (например, в целях защиты от того сбора информации) ты не можешь.
...
Рейтинг: 0 / 0
как работает yandex авто ?
    #37658092
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonidv,
может хватит заниматься болтологией.
Берите пример с OOsalivan
Пришёл, дал пример сайта. В лёт решили его проблему.
Тебе такие вещи вообще не понять. Сто раз зарекался тебе объяснять.
...
Рейтинг: 0 / 0
25 сообщений из 51, страница 2 из 3
Форумы / Java [игнор отключен] [закрыт для гостей] / как работает yandex авто ?
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]