Добрый вечер,

Подскажите, пожалуйста, как искать запрос, который привел к очередям?
У меня периодически на произвольной шарде Монго 2.6, возникает очередь из нескольких сотен запросов. Очередь сама рассасывается за 1-2 часа.

Может, у кого-нибудь есть удобные скрипты? Потому что с таким количеством запросов простой db.currentOp() не слишком нагляден.
Конкретного блокирующего запроса не вижу, т.к. текущий выполняющийся запрос непрерывно меняется.

Убивание десятка самых длинных не помогает. Вручную от очереди можно избавиться через более масштабные жертвы.

skyANA,

Спасибо за подсказку с mongostat. С mms про него забыла.
Получилось убивать запросы по одному и смотреть на уменьшение очереди (на чтение).

Оказались виноваты несколько курсоров.

Теперь буду обновляться до 2.6.11, чтобы вместо getmore увидеть настоящий текст запроса.
На 3.0 пока не получится - переход запланирован после НГ. И 3.0 тут не поможет, все блокировки возникают на одной коллекции.

skyANA,
а вы на WT уже перешли? проблемы были?

Первый раз тестировала переход на WT почти год назад.
После 2 Тб скорость процесса конвертации упала практически до нуля, почти никаких подвижек за неделю.

Ладно, согласовали на будущее разбиение данных на маленькие базы. Стала оценивать степень сжатия на маленькой базе.
Со Snappy всё было отлично. А zlib показал, что при попытке сжатия возникло 300 тыс ошибок.
Доверия WT не вызывает.

Итого:
Оказалось, столкнулась с багом https://jira.mongodb.org/browse/SERVER-13866
Запросы берут не тот индекс.
Раньше брался индекс, поиск по которому занимает 0.01 сек, а теперь тот, по которому час.
Причем, при запуске запросов вручную берется правильный индекс.

skyANA,

индекс смотрела в planSummary:

периодически несколько десятков запросов вместо индекса с почти уникальным полем выбирают индекс, у которого надо проверить 10 млн записей.
Это происходит только на одной из шард. Запрос scatter/gather. Другая шарда берет уникальный индекс.

Если я сразу же вручную выполняю тот же самый запрос, то обе шарды берут корректный индекс.

Дальше несколько часов все последующие запросы выполняются на корректном индексе.
Потом опять берется не тот индекс. Причем, это может произойти уже на другой шарде.

Буду пробовать:
- явно сделать индекс уникальным... сижу удаляю дубли.
- хэшированный индекс, т.к. поисковое поле достаточно широкое
- hint на стороне клиента, чего не хотелось бы

В итоге пришлось на клиенте делать постоянный hint, и, пока не прошло обновление, использовать фильтр на стороне Монго.
Хэшированный индекс, не смотря на то, что он в 2 раза меньше обычного, вообще не используется. Запросы с ним работают на несколько процентов медленнее.