Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / ASP.NET [игнор отключен] [закрыт для гостей] / Файл robots.txt / 2 сообщений из 2, страница 1 из 1
05.10.2011, 21:33:55
    #37470086
выывввывыввывыывывыы
выывввывыввывыывывыы
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Файл robots.txt
Мне нужно запретить интексировать всем поисковикам каталоги catalog1 и catalog2, РАЗРЕШИТЬ читать файл карты сайта, какое описание будет верно:

User-Agent: *
Disallow: /catalog1/
Disallow: /catalog2/
Sitemap: http://www.site.ru/sitemap.xml



или

User-Agent: *
Allow: /catalog1/
Allow: /catalog2/
Sitemap: http://www.site.ru/sitemap.xml


Я что то не разобрался, какая директива разрешает чтение Disallow или Allow?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
06.10.2011, 12:00:00
    #37470629
it17
it17
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Файл robots.txt
Код: plaintext
1.
2.
3.
4.
User-Agent: * 
Disallow: /catalog1/
Disallow: /catalog2/
Allow: /
Sitemap: http://www.site.ru/sitemap.xml
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / ASP.NET [игнор отключен] [закрыт для гостей] / Файл robots.txt / 2 сообщений из 2, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение  
Полит. конфиден.  
созд. / загр.: 467ms
Закрыть
start [/forum/topic.php?fid=18&mobile=1&tid=1360551]:
 0ms
get settings:
 9ms
get forum list:
 17ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 207ms
get topic data:
 8ms
get forum data:
 2ms
get page messages:
 24ms
get tp. blocked users:
 1ms
others: 193ms
total:  467ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]