powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / найти сайт в поисковой выдаче
21 сообщений из 21, страница 1 из 1
найти сайт в поисковой выдаче
    #38073120
Програмёр
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Всем привет.
Такой вот вопрос, может ли кто-нибудь посоветовать готовое решение для автоматизированного отслеживания позиции сайта в поисковой выдаче гугла и яндекса по определённым запросам. В принципе как я понимаю такой парсер можно и самому свинтить, но вот хотелось узнать есть ли что-то подобное, ведь скорее всего сами поисковики что-то подобное предоставляют например в виде API (просто не могу найти ничего). Просто самому писать не хотелось бы... ведь это драгоценное время + нету гарантии, что через неделю-другую яндекс не воспримет мой парсер как мешающий бот и не заблочит его.

P.S. сайт делается на yii, если у кого-то есть модуль для него - это вообще супер будет.
Всем заранее спасибо.
...
Рейтинг: 0 / 0
найти сайт в поисковой выдаче
    #38073159
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 0 / 0
найти сайт в поисковой выдаче
    #38073174
Програмёр
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
miksoft http://legal.yandex.ru/termsofuse/
http://legal.yandex.ru/xml/
это уже прочитали?

при использовании yandex.xml говорят, что реальная выдача и полученный результат могут отличаться...
По поводу правил использования - их никто нарушать не собирается, так как этот модуль будет использоваться для отслеживания статистики собственных сайтов (частота "раз в несколько часов") по определённым запросам и вывод данных будет производится в админке ресурса. Вот только как это яндексу сказать, что это для личного пользования? :)
...
Рейтинг: 0 / 0
найти сайт в поисковой выдаче
    #38073184
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Програмёрпри использовании yandex.xml говорят, что реальная выдача и полученный результат могут отличаться...Могут, конечно. Но и обычная поисковая выдача может различаться от раза у разу или от места к месту.
ПрограмёрПо поводу правил использования - их никто нарушать не собирается, так как этот модуль будет использоваться для отслеживания статистики собственных сайтов (частота "раз в несколько часов") по определённым запросам и вывод данных будет производится в админке ресурса. Вот только как это яндексу сказать, что это для личного пользования? :)Лицензия на использование поисковой системы Яндекса2.3. Пользователь не вправе делать автоматические запросы к Сервису иначе как с соблюдением требований, изложенных в Условиях использования сервиса Яндекс.XML ( http://legal.yandex.ru/xml/) . Заметьте, тут нет никаких уточнений или исключений для личных/некоммерческих сайтов.
...
Рейтинг: 0 / 0
найти сайт в поисковой выдаче
    #38073187
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Насколько себе представляю ситуацию, вообще у вас три варианта:
1) Парсить поисковую выдачу самостоятельно, на свой страх и риск.
2) Использовать имеющиеся сервисы, типа Яндекс.XML. Рисков, если не нарушать, не так много, но ниже удобство.
3) Использовать сервисы на сторонних сайтах. (Сходу таковых не вспомню, но поищите в SEO-среде). Риски будут другого свойства, но все равно будут.
...
Рейтинг: 0 / 0
найти сайт в поисковой выдаче
    #38073224
Програмёр
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
miksoftНасколько себе представляю ситуацию, вообще у вас три варианта:
1) Парсить поисковую выдачу самостоятельно, на свой страх и риск.
2) Использовать имеющиеся сервисы, типа Яндекс.XML. Рисков, если не нарушать, не так много, но ниже удобство.
3) Использовать сервисы на сторонних сайтах. (Сходу таковых не вспомню, но поищите в SEO-среде). Риски будут другого свойства, но все равно будут.
спасибо. Сейчас какраз смотрю сайт 3wseo.ru. Если там всё норм будет, может его попользую... ну а если нет, тогда сам писать буду
...
Рейтинг: 0 / 0
найти сайт в поисковой выдаче
    #38073302
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
miksoft1) Парсить поисковую выдачу самостоятельно, на свой страх и риск.Довольно быстро в капчу вопрется. Впрочем, чисто технически есть вариант гонять все это дело через браузер и, поглядывая в окошко одним глазом, периодически говорить капче: "не, я не робот".
...
Рейтинг: 0 / 0
найти сайт в поисковой выдаче
    #38073980
Фотография ScareCrow
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
авторпри использовании yandex.xml говорят, что реальная выдача и полученный результат могут отличаться...
Могут, конечно. Но и обычная поисковая выдача может различаться от раза у разу или от места к месту.
там даже обычная выдача от фронтенда к фронтенду различается на порядки.
...
Рейтинг: 0 / 0
найти сайт в поисковой выдаче
    #38075409
Програмёр
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
для меня оказался идеальным вариантом сайт http://www.megaindex.ru/. Надо только интерфейс управления пользователем сделать, то есть добавление сайта, добавление запроса и т.д. Вчера сделал скриптик для чтения инфы по сайту, пока что всё как надо работает.
...
Рейтинг: 0 / 0
найти сайт в поисковой выдаче
    #38076085
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Програмёр,

А вот скоро станет еще веселее:
habrahabr.ru/company/yandex/blog/162245/Теперь результаты поиска и поисковые подсказки будут персонализированными и могут отличаться для каждого пользователя, который задаёт запрос и получает на него ответ от Яндекса.
...
Рейтинг: 0 / 0
найти сайт в поисковой выдаче
    #38076217
Програмёр
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
miksoftПрограмёр,

А вот скоро станет еще веселее:
habrahabr.ru/company/yandex/blog/162245/Теперь результаты поиска и поисковые подсказки будут персонализированными и могут отличаться для каждого пользователя, который задаёт запрос и получает на него ответ от Яндекса.

гугл что-то подобное вводить хотел (не знаю только ввёл ли). Ну, когда это произойдёт, тогда думаю и сам принцип СЕО отчётов изменится, вот тогда и будем систему переделывать... а щас не хотелось бы терять кучу времени на оценку позиций сайтов, когда можно зайти на страницу статистики и за несколько секунд/минут оценить ситуацию.
...
Рейтинг: 0 / 0
найти сайт в поисковой выдаче
    #38076262
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Програмёр,

Дык оно уже произошло. Уже сейчас (точнее, последние несколько месяцев) практически никогда позиции, видимые у нас, не совпадают с позициями, видимыми в тот же момент нашими подрядчиками. И разброс зачастую не на страницу и не две.
...
Рейтинг: 0 / 0
найти сайт в поисковой выдаче
    #38076266
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Програмёргугл что-то подобное вводить хотел (не знаю только ввёл ли).Насколько я в курсе, ввел, но только для залогиненных пользователей. Но могу и ошибаться.
...
Рейтинг: 0 / 0
найти сайт в поисковой выдаче
    #38076280
Програмёр
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
miksoftПрограмёр,

Дык оно уже произошло. Уже сейчас (точнее, последние несколько месяцев) практически никогда позиции, видимые у нас, не совпадают с позициями, видимыми в тот же момент нашими подрядчиками. И разброс зачастую не на страницу и не две.

Опять же насколько я знаю, привязка пошла не к ip, не к кукам и т.д., а именно к аккаунту в системе. То есть, если не логиниться, то можно увидить общую выдачу. А это то, что обычно хочет узнать заказчик, на какой позиции находится его сайт у большинства пользователей. :)
...
Рейтинг: 0 / 0
найти сайт в поисковой выдаче
    #38076296
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Програмёрпривязка пошла не к ip, не к кукам и т.д., а именно к аккаунту в системе.Нет, привязывается и к тому, и к другому, и к третьему.
И, по моим наблюдениям, Яндекс умеет связывать разные компы, которыми пользуется один и тот же пользователь. Даже незалогиненный.

Хотя, если логиниться не будете и куки отдавать не будете, то, может, и минёт вас такая участь...
...
Рейтинг: 0 / 0
найти сайт в поисковой выдаче
    #38076374
Програмёр
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
miksoftПрограмёрпривязка пошла не к ip, не к кукам и т.д., а именно к аккаунту в системе.Нет, привязывается и к тому, и к другому, и к третьему.
И, по моим наблюдениям, Яндекс умеет связывать разные компы, которыми пользуется один и тот же пользователь. Даже незалогиненный.

Хотя, если логиниться не будете и куки отдавать не будете, то, может, и минёт вас такая участь...

Интересно как же он так определяет пользователя? по поведению? скорости печати текста? грамматическим и другим ошибкам? :) не верю)) Даже самая лучшая нейронная сеть ошибалась бы в 80-90% случаев. Ну а куки... Сегодня они есть, а завтра нету :). Вообщем всё это спорно.
...
Рейтинг: 0 / 0
найти сайт в поисковой выдаче
    #38076377
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
miksoftПрограмёрпривязка пошла не к ip, не к кукам и т.д., а именно к аккаунту в системе.Нет, привязывается и к тому, и к другому, и к третьему.
И, по моим наблюдениям, Яндекс умеет связывать разные компы, которыми пользуется один и тот же пользователь.Похоже, это именно так. Вот только не ясно, через что вяжет... Сам лично видел как разные браузеры с почищенными куками выдавали различную и, вместе с тем, "неправильную" выдачу в одном пользовательском аккаунте. Залогинился на комп другой пользователь - в разных браузерах одна и та же выдача, похожая на "правильную". Первый же юзер, войдя в свой аккаунт на другой машине получил частично "неправильную" выдачу. В тот раз списали на мега-глюки Яндекса, но сомнение таки очень хорошо сформировалось.
...
Рейтинг: 0 / 0
найти сайт в поисковой выдаче
    #38076384
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кстати, из-за этой "связи" по внезапно изменившимся объявлениям Яндекс.Директа я иногда (сидя на работе) узнаю, что искала (находясь дома) жена, быстрее, чем она мне сама вечером расскажет
...
Рейтинг: 0 / 0
найти сайт в поисковой выдаче
    #38076398
Програмёр
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vkleПохоже, это именно так. Вот только не ясно, через что вяжет... Сам лично видел как разные браузеры с почищенными куками выдавали различную и, вместе с тем, "неправильную" выдачу в одном пользовательском аккаунте. Залогинился на комп другой пользователь - в разных браузерах одна и та же выдача, похожая на "правильную". Первый же юзер, войдя в свой аккаунт на другой машине получил частично "неправильную" выдачу. В тот раз списали на мега-глюки Яндекса, но сомнение таки очень хорошо сформировалось.

А регионы точно правильно выставленные были? Просто вот я... Не залогинюсь - в Москве оказывается живу... Залогинюсь - сразу в область переезжаю )).
...
Рейтинг: 0 / 0
найти сайт в поисковой выдаче
    #38076416
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ПрограмёрА регионы точно правильно выставленные были? Просто вот я... Не залогинюсь - в Москве оказывается живу... Залогинюсь - сразу в область переезжаю )).А мой дом регулярно из Москвы в Питер и обратно кочует :)
...
Рейтинг: 0 / 0
найти сайт в поисковой выдаче
    #38076668
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ПрограмёрА регионы точно правильно выставленные были?Регион был проверен и перепроверен в УРЛе. И ФФ был запущен с чистым профилем. И кеш его почищен. И в обход squid'а пускал...
Ну, потратили мы втроем наверно часика полтора на все эксперименты на двух машинах.
...
Рейтинг: 0 / 0
21 сообщений из 21, страница 1 из 1
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / найти сайт в поисковой выдаче
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]