|
|
|
robots.txt как отследить попытки индексации сайта
|
|||
|---|---|---|---|
|
#18+
robots.txt User-agent: * Disallow: / т.е. запрет индексации всего сайта. Можно ли увидеть попытки индексации?? Т.е. я сделал изменения файла robots.txt, как проверить, что изменения, которые я сделал работают правильно ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.04.2012, 16:21:44 |
|
||
|
robots.txt как отследить попытки индексации сайта
|
|||
|---|---|---|---|
|
#18+
Посмотреть в логах вебсервера. Первый запрос идет на получение файла robots.txt. На основании этого файла робот должен принять решение об индексации. Запросов к страницам от роботов быть не должно. Списки айпи-адресов поисковых роботов можно найти на форумах SEO. Если лень искать адреса, то можно ограничиться проверкой строки юзер-агента - обычно там пишется имя поисковика. Разумеется, все это применимо только к добропорядочным роботам. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.04.2012, 16:44:26 |
|
||
|
|
start [/forum/topic.php?fid=23&gotonew=1&tid=1465244]: |
0ms |
get settings: |
9ms |
get forum list: |
18ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
192ms |
get topic data: |
11ms |
get first new msg: |
6ms |
get forum data: |
3ms |
get page messages: |
57ms |
get tp. blocked users: |
2ms |
| others: | 195ms |
| total: | 499ms |
| 0 / 0 |
