|
|
|
robots.txt как отследить попытки индексации сайта
|
|||
|---|---|---|---|
|
#18+
robots.txt User-agent: * Disallow: / т.е. запрет индексации всего сайта. Можно ли увидеть попытки индексации?? Т.е. я сделал изменения файла robots.txt, как проверить, что изменения, которые я сделал работают правильно ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.04.2012, 16:21:44 |
|
||
|
robots.txt как отследить попытки индексации сайта
|
|||
|---|---|---|---|
|
#18+
Посмотреть в логах вебсервера. Первый запрос идет на получение файла robots.txt. На основании этого файла робот должен принять решение об индексации. Запросов к страницам от роботов быть не должно. Списки айпи-адресов поисковых роботов можно найти на форумах SEO. Если лень искать адреса, то можно ограничиться проверкой строки юзер-агента - обычно там пишется имя поисковика. Разумеется, все это применимо только к добропорядочным роботам. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.04.2012, 16:44:26 |
|
||
|
|
start [/forum/topic.php?fid=23&fpage=148&tid=1465244]: |
0ms |
get settings: |
10ms |
get forum list: |
20ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
55ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
48ms |
get tp. blocked users: |
1ms |
| others: | 199ms |
| total: | 354ms |
| 0 / 0 |
