|
|
|
найти сайт в поисковой выдаче
|
|||
|---|---|---|---|
|
#18+
Всем привет. Такой вот вопрос, может ли кто-нибудь посоветовать готовое решение для автоматизированного отслеживания позиции сайта в поисковой выдаче гугла и яндекса по определённым запросам. В принципе как я понимаю такой парсер можно и самому свинтить, но вот хотелось узнать есть ли что-то подобное, ведь скорее всего сами поисковики что-то подобное предоставляют например в виде API (просто не могу найти ничего). Просто самому писать не хотелось бы... ведь это драгоценное время + нету гарантии, что через неделю-другую яндекс не воспримет мой парсер как мешающий бот и не заблочит его. P.S. сайт делается на yii, если у кого-то есть модуль для него - это вообще супер будет. Всем заранее спасибо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.12.2012, 19:04 |
|
||
|
найти сайт в поисковой выдаче
|
|||
|---|---|---|---|
|
#18+
miksoft http://legal.yandex.ru/termsofuse/ http://legal.yandex.ru/xml/ это уже прочитали? при использовании yandex.xml говорят, что реальная выдача и полученный результат могут отличаться... По поводу правил использования - их никто нарушать не собирается, так как этот модуль будет использоваться для отслеживания статистики собственных сайтов (частота "раз в несколько часов") по определённым запросам и вывод данных будет производится в админке ресурса. Вот только как это яндексу сказать, что это для личного пользования? :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.12.2012, 19:56 |
|
||
|
найти сайт в поисковой выдаче
|
|||
|---|---|---|---|
|
#18+
Програмёрпри использовании yandex.xml говорят, что реальная выдача и полученный результат могут отличаться...Могут, конечно. Но и обычная поисковая выдача может различаться от раза у разу или от места к месту. ПрограмёрПо поводу правил использования - их никто нарушать не собирается, так как этот модуль будет использоваться для отслеживания статистики собственных сайтов (частота "раз в несколько часов") по определённым запросам и вывод данных будет производится в админке ресурса. Вот только как это яндексу сказать, что это для личного пользования? :)Лицензия на использование поисковой системы Яндекса2.3. Пользователь не вправе делать автоматические запросы к Сервису иначе как с соблюдением требований, изложенных в Условиях использования сервиса Яндекс.XML ( http://legal.yandex.ru/xml/) . Заметьте, тут нет никаких уточнений или исключений для личных/некоммерческих сайтов. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.12.2012, 20:06 |
|
||
|
найти сайт в поисковой выдаче
|
|||
|---|---|---|---|
|
#18+
Насколько себе представляю ситуацию, вообще у вас три варианта: 1) Парсить поисковую выдачу самостоятельно, на свой страх и риск. 2) Использовать имеющиеся сервисы, типа Яндекс.XML. Рисков, если не нарушать, не так много, но ниже удобство. 3) Использовать сервисы на сторонних сайтах. (Сходу таковых не вспомню, но поищите в SEO-среде). Риски будут другого свойства, но все равно будут. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.12.2012, 20:10 |
|
||
|
найти сайт в поисковой выдаче
|
|||
|---|---|---|---|
|
#18+
miksoftНасколько себе представляю ситуацию, вообще у вас три варианта: 1) Парсить поисковую выдачу самостоятельно, на свой страх и риск. 2) Использовать имеющиеся сервисы, типа Яндекс.XML. Рисков, если не нарушать, не так много, но ниже удобство. 3) Использовать сервисы на сторонних сайтах. (Сходу таковых не вспомню, но поищите в SEO-среде). Риски будут другого свойства, но все равно будут. спасибо. Сейчас какраз смотрю сайт 3wseo.ru. Если там всё норм будет, может его попользую... ну а если нет, тогда сам писать буду ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.12.2012, 20:48 |
|
||
|
найти сайт в поисковой выдаче
|
|||
|---|---|---|---|
|
#18+
miksoft1) Парсить поисковую выдачу самостоятельно, на свой страх и риск.Довольно быстро в капчу вопрется. Впрочем, чисто технически есть вариант гонять все это дело через браузер и, поглядывая в окошко одним глазом, периодически говорить капче: "не, я не робот". ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.12.2012, 22:09 |
|
||
|
найти сайт в поисковой выдаче
|
|||
|---|---|---|---|
|
#18+
авторпри использовании yandex.xml говорят, что реальная выдача и полученный результат могут отличаться... Могут, конечно. Но и обычная поисковая выдача может различаться от раза у разу или от места к месту. там даже обычная выдача от фронтенда к фронтенду различается на порядки. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.12.2012, 12:56 |
|
||
|
найти сайт в поисковой выдаче
|
|||
|---|---|---|---|
|
#18+
для меня оказался идеальным вариантом сайт http://www.megaindex.ru/. Надо только интерфейс управления пользователем сделать, то есть добавление сайта, добавление запроса и т.д. Вчера сделал скриптик для чтения инфы по сайту, пока что всё как надо работает. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.12.2012, 11:34 |
|
||
|
найти сайт в поисковой выдаче
|
|||
|---|---|---|---|
|
#18+
Програмёр, А вот скоро станет еще веселее: habrahabr.ru/company/yandex/blog/162245/Теперь результаты поиска и поисковые подсказки будут персонализированными и могут отличаться для каждого пользователя, который задаёт запрос и получает на него ответ от Яндекса. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.12.2012, 16:23 |
|
||
|
найти сайт в поисковой выдаче
|
|||
|---|---|---|---|
|
#18+
miksoftПрограмёр, А вот скоро станет еще веселее: habrahabr.ru/company/yandex/blog/162245/Теперь результаты поиска и поисковые подсказки будут персонализированными и могут отличаться для каждого пользователя, который задаёт запрос и получает на него ответ от Яндекса. гугл что-то подобное вводить хотел (не знаю только ввёл ли). Ну, когда это произойдёт, тогда думаю и сам принцип СЕО отчётов изменится, вот тогда и будем систему переделывать... а щас не хотелось бы терять кучу времени на оценку позиций сайтов, когда можно зайти на страницу статистики и за несколько секунд/минут оценить ситуацию. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.12.2012, 17:28 |
|
||
|
найти сайт в поисковой выдаче
|
|||
|---|---|---|---|
|
#18+
Програмёр, Дык оно уже произошло. Уже сейчас (точнее, последние несколько месяцев) практически никогда позиции, видимые у нас, не совпадают с позициями, видимыми в тот же момент нашими подрядчиками. И разброс зачастую не на страницу и не две. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.12.2012, 17:46 |
|
||
|
найти сайт в поисковой выдаче
|
|||
|---|---|---|---|
|
#18+
Програмёргугл что-то подобное вводить хотел (не знаю только ввёл ли).Насколько я в курсе, ввел, но только для залогиненных пользователей. Но могу и ошибаться. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.12.2012, 17:47 |
|
||
|
найти сайт в поисковой выдаче
|
|||
|---|---|---|---|
|
#18+
miksoftПрограмёр, Дык оно уже произошло. Уже сейчас (точнее, последние несколько месяцев) практически никогда позиции, видимые у нас, не совпадают с позициями, видимыми в тот же момент нашими подрядчиками. И разброс зачастую не на страницу и не две. Опять же насколько я знаю, привязка пошла не к ip, не к кукам и т.д., а именно к аккаунту в системе. То есть, если не логиниться, то можно увидить общую выдачу. А это то, что обычно хочет узнать заказчик, на какой позиции находится его сайт у большинства пользователей. :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.12.2012, 17:51 |
|
||
|
найти сайт в поисковой выдаче
|
|||
|---|---|---|---|
|
#18+
Програмёрпривязка пошла не к ip, не к кукам и т.д., а именно к аккаунту в системе.Нет, привязывается и к тому, и к другому, и к третьему. И, по моим наблюдениям, Яндекс умеет связывать разные компы, которыми пользуется один и тот же пользователь. Даже незалогиненный. Хотя, если логиниться не будете и куки отдавать не будете, то, может, и минёт вас такая участь... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.12.2012, 17:57 |
|
||
|
найти сайт в поисковой выдаче
|
|||
|---|---|---|---|
|
#18+
miksoftПрограмёрпривязка пошла не к ip, не к кукам и т.д., а именно к аккаунту в системе.Нет, привязывается и к тому, и к другому, и к третьему. И, по моим наблюдениям, Яндекс умеет связывать разные компы, которыми пользуется один и тот же пользователь. Даже незалогиненный. Хотя, если логиниться не будете и куки отдавать не будете, то, может, и минёт вас такая участь... Интересно как же он так определяет пользователя? по поведению? скорости печати текста? грамматическим и другим ошибкам? :) не верю)) Даже самая лучшая нейронная сеть ошибалась бы в 80-90% случаев. Ну а куки... Сегодня они есть, а завтра нету :). Вообщем всё это спорно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.12.2012, 18:45 |
|
||
|
найти сайт в поисковой выдаче
|
|||
|---|---|---|---|
|
#18+
miksoftПрограмёрпривязка пошла не к ip, не к кукам и т.д., а именно к аккаунту в системе.Нет, привязывается и к тому, и к другому, и к третьему. И, по моим наблюдениям, Яндекс умеет связывать разные компы, которыми пользуется один и тот же пользователь.Похоже, это именно так. Вот только не ясно, через что вяжет... Сам лично видел как разные браузеры с почищенными куками выдавали различную и, вместе с тем, "неправильную" выдачу в одном пользовательском аккаунте. Залогинился на комп другой пользователь - в разных браузерах одна и та же выдача, похожая на "правильную". Первый же юзер, войдя в свой аккаунт на другой машине получил частично "неправильную" выдачу. В тот раз списали на мега-глюки Яндекса, но сомнение таки очень хорошо сформировалось. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.12.2012, 18:48 |
|
||
|
найти сайт в поисковой выдаче
|
|||
|---|---|---|---|
|
#18+
Кстати, из-за этой "связи" по внезапно изменившимся объявлениям Яндекс.Директа я иногда (сидя на работе) узнаю, что искала (находясь дома) жена, быстрее, чем она мне сама вечером расскажет ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.12.2012, 18:53 |
|
||
|
найти сайт в поисковой выдаче
|
|||
|---|---|---|---|
|
#18+
vkleПохоже, это именно так. Вот только не ясно, через что вяжет... Сам лично видел как разные браузеры с почищенными куками выдавали различную и, вместе с тем, "неправильную" выдачу в одном пользовательском аккаунте. Залогинился на комп другой пользователь - в разных браузерах одна и та же выдача, похожая на "правильную". Первый же юзер, войдя в свой аккаунт на другой машине получил частично "неправильную" выдачу. В тот раз списали на мега-глюки Яндекса, но сомнение таки очень хорошо сформировалось. А регионы точно правильно выставленные были? Просто вот я... Не залогинюсь - в Москве оказывается живу... Залогинюсь - сразу в область переезжаю )). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.12.2012, 19:01 |
|
||
|
найти сайт в поисковой выдаче
|
|||
|---|---|---|---|
|
#18+
ПрограмёрА регионы точно правильно выставленные были? Просто вот я... Не залогинюсь - в Москве оказывается живу... Залогинюсь - сразу в область переезжаю )).А мой дом регулярно из Москвы в Питер и обратно кочует :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.12.2012, 19:11 |
|
||
|
найти сайт в поисковой выдаче
|
|||
|---|---|---|---|
|
#18+
ПрограмёрА регионы точно правильно выставленные были?Регион был проверен и перепроверен в УРЛе. И ФФ был запущен с чистым профилем. И кеш его почищен. И в обход squid'а пускал... Ну, потратили мы втроем наверно часика полтора на все эксперименты на двух машинах. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.12.2012, 22:00 |
|
||
|
|

start [/forum/topic.php?fid=23&msg=38076217&tid=1464312]: |
0ms |
get settings: |
5ms |
get forum list: |
9ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
39ms |
get topic data: |
16ms |
get forum data: |
1ms |
get page messages: |
47ms |
get tp. blocked users: |
1ms |
| others: | 359ms |
| total: | 481ms |

| 0 / 0 |
