|
|
|
robots.txt как отследить попытки индексации сайта
|
|||
|---|---|---|---|
|
#18+
robots.txt User-agent: * Disallow: / т.е. запрет индексации всего сайта. Можно ли увидеть попытки индексации?? Т.е. я сделал изменения файла robots.txt, как проверить, что изменения, которые я сделал работают правильно ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.04.2012, 16:21:44 |
|
||
|
robots.txt как отследить попытки индексации сайта
|
|||
|---|---|---|---|
|
#18+
Посмотреть в логах вебсервера. Первый запрос идет на получение файла robots.txt. На основании этого файла робот должен принять решение об индексации. Запросов к страницам от роботов быть не должно. Списки айпи-адресов поисковых роботов можно найти на форумах SEO. Если лень искать адреса, то можно ограничиться проверкой строки юзер-агента - обычно там пишется имя поисковика. Разумеется, все это применимо только к добропорядочным роботам. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.04.2012, 16:44:26 |
|
||
|
|
start [/forum/topic.php?fid=23&msg=37766538&tid=1465244]: |
0ms |
get settings: |
8ms |
get forum list: |
10ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
36ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
43ms |
get tp. blocked users: |
1ms |
| others: | 212ms |
| total: | 325ms |
| 0 / 0 |
