Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
|
23.04.2012, 16:21:44
|
|||
|---|---|---|---|
robots.txt как отследить попытки индексации сайта |
|||
|
#18+
robots.txt User-agent: * Disallow: / т.е. запрет индексации всего сайта. Можно ли увидеть попытки индексации?? Т.е. я сделал изменения файла robots.txt, как проверить, что изменения, которые я сделал работают правильно ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
23.04.2012, 16:44:26
|
|||
|---|---|---|---|
robots.txt как отследить попытки индексации сайта |
|||
|
#18+
Посмотреть в логах вебсервера. Первый запрос идет на получение файла robots.txt. На основании этого файла робот должен принять решение об индексации. Запросов к страницам от роботов быть не должно. Списки айпи-адресов поисковых роботов можно найти на форумах SEO. Если лень искать адреса, то можно ограничиться проверкой строки юзер-агента - обычно там пишется имя поисковика. Разумеется, все это применимо только к добропорядочным роботам. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
start [/forum/topic.php?fid=23&mobile=1&tid=1465244]: |
0ms |
get settings: |
9ms |
get forum list: |
16ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
174ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
37ms |
get tp. blocked users: |
1ms |
| others: | 227ms |
| total: | 481ms |
| 0 / 0 |
