ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / ASP.NET [игнор отключен] [закрыт для гостей] / индексация поисковиками
10 сообщений из 10, страница 1 из 1
индексация поисковиками
    #39344036
Микола Питерский
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Микола Питерский
Участник
Доменного имени пока нет, есть только статический IP адрес, который я пока никому не сообщал, но по логам IIS я вижу что туда ломятся поисковики, но что они пытяются делать - я не могу понять, вот фрагменты логов:
Код: java
1.
2.
3.
4.
#Fields: date time s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status time-taken
2016-10-10 13:12:50 192.168.1.100 GET /robots.txt - 81 - 5.255.253.85 Mozilla/5.0+(compatible;+YandexBot/3.0;++http://yandex.com/bots) 404 0 2 274
2016-11-09 06:22:09 192.168.1.100 GET / - 81 - 213.57.101.253 masscan/1.0+(https://github.com/robertdavidgraham/masscan) 200 0 995 28994
2016-11-08 06:08:59 192.168.1.100 GET / - 81 - 189.28.162.133 Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html) 200 0 995 7640



Яндекс бот ходит только 1 раз в 2 недели, я так понял пока не будет файла robots.txt он индексировать не будет, а что пытаются делать два других я вообще не понимаю, причем гугловский бот обращается каждый час с разных адресов.

Помогите, пожалуйста - а то я в этом направлении пока делаю только первые шаги!
...
Рейтинг: 0 / 0
09.11.2016, 10:29
| Ответить | Цитировать | Написать  
индексация поисковиками
    #39344126
Фотография hVostt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hVostt
Участник
Микола Питерский,

На одном IP может сидеть сотни и тысячи сайтов. У сайта может смениться IP, и тебе может достаться IP от ранее существующего сайта. В общем причин миллион.

Не понятно, что ты хочешь делать, с чем тебе помочь?
...
Рейтинг: 0 / 0
09.11.2016, 12:29
| Ответить | Цитировать | Написать  
индексация поисковиками
    #39344140
Микола Питерский
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Микола Питерский
Участник
На моем статическом адресе на 80 порт привязан (проброшен через маршрутизатор) именно этот адрес и порт 192.168.1.100:81
и именно этот адрес - адрес вэб сервера, а на 81 порту залит мой сайт, т.е. лог я смотрю тот что нужно.

Меня интересует - почему гуглбот обратился к IIS по адресу 192.168.1.100:81 - а IIS в ответ не отдает ничего.
Если я из внешней сети обращаюсь к этому сайту браузером - то вижу в логе все файлы, которые мне IIS отдает:
Код: java
1.
2.
3.
4.
5.
6.
7.
2016-10-28 13:34:17 192.168.1.100 GET / - 81 - 37.45.50.215 Mozilla/5.0+(Windows+NT+6.1;+WOW64;+rv:41.0)+Gecko/20100101+Firefox/41.0 200 0 0 4366
2016-10-28 13:34:17 192.168.1.100 GET /DXB.axd DXCache=1001301a2d765abf9c68a6eaddb98fb9dbd0adf&DXResized=1 81 - 37.45.50.215 Mozilla/5.0+(Windows+NT+6.1;+WOW64;+rv:41.0)+Gecko/20100101+Firefox/41.0 200 0 0 106
2016-10-28 13:34:17 192.168.1.100 GET /Content/Images/logob.png - 81 - 37.45.50.215 Mozilla/5.0+(Windows+NT+6.1;+WOW64;+rv:41.0)+Gecko/20100101+Firefox/41.0 304 0 0 287
2016-10-28 13:34:17 192.168.1.100 GET /Content/Images/no_foto_2.jpg - 81 - 37.45.50.215 Mozilla/5.0+(Windows+NT+6.1;+WOW64;+rv:41.0)+Gecko/20100101+Firefox/41.0 304 0 0 263
2016-10-28 13:34:17 192.168.1.100 GET /favicon.ico - 81 - 37.45.50.215 Mozilla/5.0+(Windows+NT+6.1;+WOW64;+rv:41.0)+Gecko/20100101+Firefox/41.0 404 0 2 85
2016-10-28 13:34:19 192.168.1.100 GET /favicon.ico - 81 - 37.45.50.215 Mozilla/5.0+(Windows+NT+6.1;+WOW64;+rv:41.0)+Gecko/20100101+Firefox/41.0 404 0 2 281
2016-10-28 13:34:24 192.168.1.100 GET /Price.aspx - 81 - 37.45.50.215 Mozilla/5.0+(Windows+NT+6.1;+WOW64;+rv:41.0)+Gecko/20100101+Firefox/41.0 200 0 0 3783



Почему? По моему - так в IIS гдето стоит запрет на отдачу контента если это не браузер, а иначе почему так?
...
Рейтинг: 0 / 0
09.11.2016, 12:44
| Ответить | Цитировать | Написать  
индексация поисковиками
    #39344251
Микола Питерский
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Микола Питерский
Участник
В общем ситуация очень странная - настроил лог, чтобы он показывал количество принятых\переданных байт:
Код: java
1.
2.
3.
4.
5.
6.
7.
8.
#Date: 2016-11-09 11:47:42
#Fields: date time s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status sc-bytes cs-bytes time-taken
2016-11-09 11:47:42 192.168.1.100 GET / - 81 - 60.48.201.34 Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html) 302 0 995 0 123 11477
#Software: Microsoft Internet Information Services 7.5
#Version: 1.0
#Date: 2016-11-09 12:03:22
#Fields: date time s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status sc-bytes cs-bytes time-taken
2016-11-09 12:03:22 192.168.1.100 GET / - 81 - 170.231.20.48 Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html) 302 0 995 0 123 1228



И получается что IIS отдает гугл-боту страничку размером 123 байта, естественно о индексации никакой речи идти не может.
Как так - браузеру IIS отдает нормальную страницу, а поисковому боту какую-то хрень?
IIS 7.5 ставил и настраивал сам - все по умолчанию. В чем может быть дело?
...
Рейтинг: 0 / 0
09.11.2016, 14:47
| Ответить | Цитировать | Написать  
индексация поисковиками
    #39344547
Фотография hVostt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hVostt
Участник
Микола ПитерскийИ получается что IIS отдает гугл-боту страничку размером 123 байта, естественно о индексации никакой речи идти не может.

Читай про статус 302 и познаешь истину о 123 байтах.
...
Рейтинг: 0 / 0
10.11.2016, 06:19
| Ответить | Цитировать | Написать  
индексация поисковиками
    #39344572
Микола Питерский
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Микола Питерский
Участник
hVosttЧитай про статус 302 и познаешь истину о 123 байтах.

Посмотри лог выше - там статус 200 - т.е. бот приходит на IIS и отправляет ему страничку размером 123 байта, вероятно это текст GET / и заголовок остальное, IIS же ему отдает ответ 0 байт, т.е. вероятно определяет что это бот и просто рвет соединение без ответа.
Статус 302 появился только вчера когда я добавил маршруты и файл robots.txt, и после 302 должен быть всегда 200 - а ничего этого нет. Что за хрень такая?
...
Рейтинг: 0 / 0
10.11.2016, 08:46
| Ответить | Цитировать | Написать  
индексация поисковиками
    #39344576
Микола Питерский
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Микола Питерский
Участник
Вот сегодняшний лог, с 178.120.102.67 это я браузером зашел - все сервер отдает, а все строки выше - это боты - им IIS отдает 0 байт.

Код: java
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
#Software: Microsoft Internet Information Services 7.5
#Version: 1.0
#Date: 2016-11-10 06:01:01
#Fields: date time s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status sc-bytes cs-bytes time-taken
2016-11-10 06:01:01 192.168.1.100 GET / - 81 - 168.1.128.35 Mozilla/5.0+(Windows+NT+6.1;+rv:31.0)+Gecko/20100101+Firefox/31.0 302 0 995 0 110 30574
2016-11-10 06:01:26 192.168.1.100 GET / - 81 - 31.168.27.230 Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html) 302 0 995 0 123 13023
2016-11-10 06:12:51 192.168.1.100 GET / - 81 - 31.192.105.51 Mozilla/5.0+(Linux;+U;+Android+4.2.2;+en-us;+A1-810+Build/JDQ39)+AppleWebKit/534.30+(KHTML,+like+Gecko)+Version/4.0+Safari/534.30 302 0 0 155972 183 2503
#Software: Microsoft Internet Information Services 7.5
#Version: 1.0
#Date: 2016-11-10 06:42:00
#Fields: date time s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status sc-bytes cs-bytes time-taken
2016-11-10 06:42:00 192.168.1.100 GET / - 81 - 178.207.124.125 curl/7.17.1+(mips-unknown-linux-gnu)+libcurl/7.17.1+OpenSSL/0.9.8i+zlib/1.2.3 302 0 995 0 144 4019
2016-11-10 06:48:20 192.168.1.100 GET / - 81 - 178.120.102.67 Mozilla/5.0+(Windows+NT+6.1;+WOW64;+rv:41.0)+Gecko/20100101+Firefox/41.0 302 0 0 154441 317 2569
2016-11-10 06:48:22 192.168.1.100 GET /catalog/ru - 81 - 178.120.102.67 Mozilla/5.0+(Windows+NT+6.1;+WOW64;+rv:41.0)+Gecko/20100101+Firefox/41.0 200 0 0 154609 379 2598
2016-11-10 06:48:24 192.168.1.100 GET /DXR.axd r=1_20,1_24,1_26,1_3,1_8,1_9,1_7,0_1530,0_1631,0_1532,0_1633,0_1554,0_1556-xEind 81 - 178.120.102.67 Mozilla/5.0+(Windows+NT+6.1;+WOW64;+rv:41.0)+Gecko/20100101+Firefox/41.0 200 0 0 68019 455 1508
2016-11-10 06:48:24 192.168.1.100 GET /WebResource.axd d=3RdQhqD0jIDQSaUzkDnkY4DOn4DkmuCuDzfKWCEQoVrUPafV28cWwrNae0enWcv1AoTWdk40zgLvXiXvizhnWW9TZAaB1x1bhHKOhEjSg2E1&t=635328482440000000 81 - 178.120.102.67 Mozilla/5.0+(Windows+NT+6.1;+WOW64;+rv:41.0)+Gecko/20100101+Firefox/41.0 200 0 0 22653 499 1650
2016-11-10 06:48:24 192.168.1.100 GET /DXR.axd r=1_30-xEind 81 - 178.120.102.67 Mozilla/5.0+(Windows+NT+6.1;+WOW64;+rv:41.0)+Gecko/20100101+Firefox/41.0 200 0 0 321 402 170
2016-11-10 06:48:24 192.168.1.100 GET /DXB.axd DXCache=1001301a2d765abf9c68a6eaddb98fb9dbd0adf&DXResized=1 81 - 178.120.102.67 Mozilla/5.0+(Windows+NT+6.1;+WOW64;+rv:41.0)+Gecko/20100101+Firefox/41.0 200 0 0 2308 449 166
2016-11-10 06:48:24 192.168.1.100 GET /Content/Images/no_foto_2.jpg - 81 - 178.120.102.67 Mozilla/5.0+(Windows+NT+6.1;+WOW64;+rv:41.0)+Gecko/20100101+Firefox/41.0 200 0 0 2654 410 209
2016-11-10 06:48:24 192.168.1.100 GET /Content/Images/england.png - 81 - 178.120.102.67 Mozilla/5.0+(Windows+NT+6.1;+WOW64;+rv:41.0)+Gecko/20100101+Firefox/41.0 200 0 0 743 408 383
2016-11-10 06:48:24 192.168.1.100 GET /Content/Images/ru.png - 81 - 178.120.102.67 Mozilla/5.0+(Windows+NT+6.1;+WOW64;+rv:41.0)+Gecko/20100101+Firefox/41.0 200 0 0 667 403 397
2016-11-10 06:48:24 192.168.1.100 GET /Content/Images/logob.png - 81 - 178.120.102.67 Mozilla/5.0+(Windows+NT+6.1;+WOW64;+rv:41.0)+Gecko/20100101+Firefox/41.0 200 0 0 11624 406 795
2016-11-10 06:48:29 192.168.1.100 GET /DXR.axd r=1_230,1_128,1_224,1_154,1_131,1_152,1_160,1_133,1_165,1_151,1_125,1_216,1_149,1_214,1_155,1_139,1_176,1_174,1_140,1_166,1_212,1_222,1_205,1_215,1_141-xEind 81 - 178.120.102.67 Mozilla/5.0+(Windows+NT+6.1;+WOW64;+rv:41.0)+Gecko/20100101+Firefox/41.0 200 0 0 283523 517 6384
2016-11-10 06:48:29 192.168.1.100 GET /DXR.axd r=1_47-xEind 81 - 178.120.102.67 Mozilla/5.0+(Windows+NT+6.1;+WOW64;+rv:41.0)+Gecko/20100101+Firefox/41.0 200 0 0 373 480 94
2016-11-10 06:48:29 192.168.1.100 GET /DXR.axd r=1_67-xEind 81 - 178.120.102.67 Mozilla/5.0+(Windows+NT+6.1;+WOW64;+rv:41.0)+Gecko/20100101+Firefox/41.0 200 0 0 16965 480 308
2016-11-10 06:48:29 192.168.1.100 GET /DXR.axd r=0_1555-xEind 81 - 178.120.102.67 Mozilla/5.0+(Windows+NT+6.1;+WOW64;+rv:41.0)+Gecko/20100101+Firefox/41.0 200 0 0 14959 482 642
2016-11-10 06:48:30 192.168.1.100 GET /DXR.axd r=0_1632-xEind 81 - 178.120.102.67 Mozilla/5.0+(Windows+NT+6.1;+WOW64;+rv:41.0)+Gecko/20100101+Firefox/41.0 200 0 0 25030 482 694
2016-11-10 06:48:30 192.168.1.100 GET /DXR.axd r=0_1531-xEind 81 - 178.120.102.67 Mozilla/5.0+(Windows+NT+6.1;+WOW64;+rv:41.0)+Gecko/20100101+Firefox/41.0 200 0 0 730 482 709
2016-11-10 06:48:30 192.168.1.100 GET /DXR.axd r=1_43-xEind 81 - 178.120.102.67 Mozilla/5.0+(Windows+NT+6.1;+WOW64;+rv:41.0)+Gecko/20100101+Firefox/41.0 200 0 0 377 480 676
2016-11-10 06:48:30 192.168.1.100 GET /favicon.ico - 81 - 178.120.102.67 Mozilla/5.0+(Windows+NT+6.1;+WOW64;+rv:41.0)+Gecko/20100101+Firefox/41.0 200 0 0 568 380 268
...
Рейтинг: 0 / 0
10.11.2016, 08:54
| Ответить | Цитировать | Написать  
индексация поисковиками
    #39344997
Фотография hVostt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hVostt
Участник
Микола Питерский,

у тебя 302 отдаётся, а вот здесь

2016-11-10 06:12:51 192.168.1.100 GET / - 81 - 31.192.105.51 Mozilla/5.0+(Linux;+U;+Android+4.2.2;+en-us;+A1-810+Build/JDQ39)+AppleWebKit/534.30+(KHTML,+like+Gecko)+Version/4.0+Safari/534.30 302 0 0 155972 183 2503

ещё и 155972 байт отдано.

расскажи больше про IIS, это твой или чужой? сервак нулёвый, или кто-то настраивал? хотя скорее всего проблема в приложении, а не в IIS, или в настройках маршрутизации. ХЗ короче.

чего ты вообще прицепился к этим роботам? появится домен, будешь заморачиваться, а то что они по IP ходят, забей вообще. что бы ты не выяснил, это пользы тебе не принесёт.

появится домен -- решай вопросы с поисковиками. не раньше.
...
Рейтинг: 0 / 0
10.11.2016, 15:43
| Ответить | Цитировать | Написать  
индексация поисковиками
    #39345051
Микола Питерский
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Микола Питерский
Участник
hVostt, все понял - буду ждать домена, сервак у клиента, но настраивал все я.
Кстати глянул лог и бот уже получил ответ 302 и страничку, но почемуто перейти по новому адресу не попыталтся.
МОжет это какие пинг-боты :) а потом пойдут те, которые индексируют.

Код: java
1.
2.
#Fields: date time s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status sc-bytes cs-bytes time-taken
2016-11-10 12:33:07 192.168.1.100 GET / - 81 - 149.210.58.106 Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html) 302 0 0 663 123 665
...
Рейтинг: 0 / 0
10.11.2016, 16:43
| Ответить | Цитировать | Написать  
индексация поисковиками
    #39345069
Фотография hVostt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hVostt
Участник
Микола Питерский,

Дело в том, что 302 возвращается по какой-то причине. В логах не указано по какому конкретно домену идёт обращение, только путь. В общем, домен надо подключать. Ну и логировать запросы на стороне приложения. Ещё можно монитор запросов посмотреть. В общем, тут дело ясное, что дело тёмное
...
Рейтинг: 0 / 0
10.11.2016, 17:15
| Ответить | Цитировать | Написать  
10 сообщений из 10, страница 1 из 1
Форумы / ASP.NET [игнор отключен] [закрыт для гостей] / индексация поисковиками
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]