powered by simpleCommunicator - 2.0.39     © 2025 Programmizd 02
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Посоветуйте сервис для MongoDB
46 сообщений из 46, показаны все 2 страниц
Посоветуйте сервис для MongoDB
    #39602252
Михаил
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Привет!

мы разработали приложение (игра) по схеме: Клиент-Node.js-MongoDB

Пока база лежит на mLab на тарифе Shared Cluster.
Сейчас начался рост нагрузки и скоро он выйдет за пределы возможностей этого тарифа.

Как цель мы прогнозируем:
100-200 запросов в секунду
100GB данных в коллекциях

Как вариант, мы можем перейти на mLab на тариф Dedicated, который начинается от $180 в месяц (и быстро растет).
Вопрос, насколько это адекватные условия.

Какие сейчас есть хорошие альтернативы?
Кто-нибудь уже решал эту задачу для себя?
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39602293
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Развернуть свою реплику?
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39602303
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39602306
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AWS, Azure
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39602313
Михаил
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Hett,

тоже как вариант вариант, правда придется перенять соотв. геморрой.

Хорошо бы тут услышать мнение типа: мы все посчитали, получается самим разворачивать несравнимо лучше.
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39602320
Михаил
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
skyANA,

спасибо!

Я, собственно, уже нагуглил и копался в том числе и на Atlas.

Про Atlas мне попадается инфа, что пользователи часто получают счет гораздо больше, чем ожидали. Даже в разы!

Поэтому хочется конкретных соображений по выбору и/или инфы о своем опыте.
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39602472
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Михаил,

мы хостимся в AWS, монга развёрнута на M4.2xlarge инстансах.
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39602478
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Объём данных на данный момент - 700GB.

При этом ресурс машин утилизируется далеко не полностью. То есть мы могли бы использовать инстансы и подешевле.
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39602529
Михаил
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
skyANA,

а какого порядка "query/sec"?

SSD?
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39603257
Eleanor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
МихаилХорошо бы тут услышать мнение типа: мы все посчитали, получается самим разворачивать несравнимо лучше.
Например, мы разворачивали сами, это дешевле.
Данных 20 ТБ, нагрузка - же 100-200 запросов в секунду, данные на обычных 10К дисках.
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39603320
Михаил
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eleanor,

с шардингом?
Сколько хостов и с какими CPU?

WiredTiger?
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39603391
Eleanor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Михаил,

Шардинг на 2 сервера. 16 ядер нагружены в районе 2%, нагрузке и взяться неоткуда, там простейшие чтения-вставки, а вся более сложная обработка - в реляционной части системы.

Данные в принципе можно было не шардировать и держать все на одном сервере, но на этапе начального внедрения были мысли, что расширяться будем, закупая новые сервера и добавляя новые шарды. А оказалось, что нагрузка растет медленно, и только диски нужно постоянно докупать.

На WiredTiger не перешли.
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39603427
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Что-то не понял, у вас шарды не являются реплика-сетами?
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39603455
Михаил
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eleanor...и только диски нужно постоянно докупать.

На WiredTiger не перешли.

WT вроде жмет хорошо!
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39604404
Eleanor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
HettЧто-то не понял, у вас шарды не являются реплика-сетами?
Являются, кроме 2 рабочих шард если еще по 1 дублирующей реплики на каждую.

МихаилWT вроде жмет хорошо!
Жмет-то хорошо, но при проведении тестирования zlib в логе было сообщение, что в процессе сжатия возникло ~300 ошибок. Решили, что не готовы этим пользоваться и сжимаем-разжимаем данные на стороне клиента.
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39612998
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
EleanorМихаил,

Шардинг на 2 сервера. 16 ядер нагружены в районе 2%, нагрузке и взяться неоткуда, там простейшие чтения-вставки, а вся более сложная обработка - в реляционной части системы.

Данные в принципе можно было не шардировать и держать все на одном сервере, но на этапе начального внедрения были мысли, что расширяться будем, закупая новые сервера и добавляя новые шарды. А оказалось, что нагрузка растет медленно, и только диски нужно постоянно докупать.

На WiredTiger не перешли.
Из-за кривой работы WT с zilb и silent data corruption не рискнули? Или из-за медленного поиска по ключу?
MMAPv1 используется на 2.6 (блокировка на уровне базы) или 3.x (блокировка на уровне коллекции)? Бэкап через LVM или обычным способом?
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39613002
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eleanor при проведении тестирования zlib в логе было сообщение, что в процессе сжатия возникло ~300 ошибок
Тестирование было на 3.0.1 версии?
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39613641
Eleanor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Andy_OLAP,

>> Из-за кривой работы WT с zilb и silent data corruption не рискнули? Тестирование было на 3.0.1 версии?
Точную версию не помню, но пришлось тестировать практически сразу после появления тройки, чтобы успеть, пока на серверах еще было место под вторую полную копию БД.
А потом руководство с Mongo наигралось, и на кластер больше никто не ковыряет, если проблем не возникает.

>> Бэкап через LVM или обычным способом?
Фактически LVM. Но вы не поверите, у нас Windows.

Тоже где-то используете MongoDB в своем банке?
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39613748
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
EleanorAndy_OLAP,

>> Из-за кривой работы WT с zilb и silent data corruption не рискнули? Тестирование было на 3.0.1 версии?
Точную версию не помню, но пришлось тестировать практически сразу после появления тройки, чтобы успеть, пока на серверах еще было место под вторую полную копию БД.
А потом руководство с Mongo наигралось, и на кластер больше никто не ковыряет, если проблем не возникает.

>> Бэкап через LVM или обычным способом?
Фактически LVM. Но вы не поверите, у нас Windows.

Тоже где-то используете MongoDB в своем банке?
"Фактически LVM" - Windows на гипервизоре, а на нем что-то типа ZFS?
Пока мне свой банк не нужен, но если обзаведусь - буду использовать MongoDB. По-моему, таки большая часть косяков уже оттуда выпилена. Хотя бы тот факт, что Петя Зайцев под нее предоставляет сборку Percona Server, уже о многом говорит :)
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39613794
Eleanor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Andy_OLAP,

Гипервизора нет. NTFS, shadow copy через vssadmin.

Косяки, да, повыпиливали.
Еще 3 года назад пользоваться MongoDB было страшно. Заявленный в документации функционал не работал. Например, запускаешь создание индексов онлайн - и коллекция 4 часа недоступна.

У всей команды долго было искушение выкинуть MongoDB и залить данные в реляционку. Сейчас проблем практически нет, но осадок остался.
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39613824
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Что за онлайн индексы? Почему не background ?
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39613830
Eleanor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Hett,

Background и есть. Назвала ближайший аналог в Sql Server, с которым работает Andy_OLAP.
Обожглись с ним, уже не помню в какой версии, но с rolling index build всегда было отлично.
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39614044
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eleanor,

а не помните конкретный кейс, в котором это произошло? Или не разбирались с причинами?
Мы начали полномасштабное внедрение где-то с третьей версии, тогда же и начали background индексами пользоваться, проблем с ними не было пока.
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39614093
Eleanor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Hett,

Думаю, это давно уже починили. У нас внедрение пошло где-то с версии 2.2 и большинство проблем собрали именно на начальных версиях.

Из проблем на тройке запомнилось только то, что база начала сильно тормозить при разрастании файла лога до гигабайт. Но тут сами виноваты, что довели его до такого размера.
И под нагрузкой иногда падает сервис, что специфично только для Windows.
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39614222
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
EleanorИз проблем на тройке запомнилось только то, что база начала сильно тормозить при разрастании файла лога до гигабайт
Интересно. У нас и до 30 Гб логи выростали, но кластер на убунте. Все никак руки не добуертся сделать ротацию. Хотя тут правда можно было и из коробки сделать, тем более там все для этого есть.
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39614322
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Hettкластер на убунте
А крутите на 14.04.5, на 16.04 решили не переходить? Версия боевая сейчас 3.2 у Вас?
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39614423
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Реплика сет из трех нод: одна 14 (ext3), другая 16 (xfs), на третьей даже не знаю, она для бэкапов и мастером не бывает. Монга 3.2
Из проблем было что бэкап снятый при помощи mongodump с oplog не полностью восстанавливался (на стадии записи данных оплога падал в ошибку связанную с каппед коллекцией).

Такой же ошибкой упали недавно все слейвы (ошибка о том, что запись в каппед коллекции не может расти). Но это скорее коллеги вина. Но все же странно, мастер то выполнял запросы, а слейвы падали. Я так понял это из-за того что каждая нода сама себе оптимальные паддинги выбирает.
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39614449
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
HettНо это скорее коллеги вина.
Нет, он не виноват. В 3.7 починят. Пока Вам придется с этим таки жить.
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39614469
Eleanor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Hettбэкап снятый при помощи mongodump с oplog
Какой у вас объем данных и за какое время проходит бэкап?
Собственно нам когда-то пришлось настроить снапшоты для бэкапа из-за того, что mongodump работал неприлично медленно.
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39614519
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Andy_OLAPHettНо это скорее коллеги вина.
Нет, он не виноват. В 3.7 починят. Пока Вам придется с этим таки жить.
Избавились от каппед коллекции, заменили на обычную с expiresAfter опцией.
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39614598
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
EleanorHettбэкап снятый при помощи mongodump с oplog
Какой у вас объем данных и за какое время проходит бэкап?
Собственно нам когда-то пришлось настроить снапшоты для бэкапа из-за того, что mongodump работал неприлично медленно.

Рабочий каталог монги - 100 гб (WT)
Из-за описанной выше проблемы отказались от бэкапа при помощи mongodump (заводил баг у них на трекере и отправлял им приватно часть сломанного дампа, но не удалось разобраться). Сейчас просто останавливаем слейв и рсинком отправляем данные на сервер бэкапов.
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39614601
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Andy_OLAPHettкластер на убунте
А крутите на 14.04.5, на 16.04 решили не переходить? Версия боевая сейчас 3.2 у Вас?
Кстати, обновлял два раза реплику, сначала на 3.0, потом на 3.2, все прошло без проблем, без даунтайма. Думаем на 3.4 переходить в ближайшее время.
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39615066
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
HettAndy_OLAPпропущено...

А крутите на 14.04.5, на 16.04 решили не переходить? Версия боевая сейчас 3.2 у Вас?
Кстати, обновлял два раза реплику, сначала на 3.0, потом на 3.2, все прошло без проблем, без даунтайма. Думаем на 3.4 переходить в ближайшее время.
Проверьте внимательно, не используете ли где выпиленный db.collection.group(), на 3.4 не будет работать.
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39615068
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Hett,

Собственно, я бы на Вашем месте поторопился - согласно вот этому можно потерять на ровном месте данные до 3.2.11. Перед обновлением сначала подтяните свои сервера хотя бы на 3.2.8.
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39615158
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
В пределах минорных версий сервера обновляются конечно. Из официального репозитория монги.
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39623535
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Andy_OLAPHettпропущено...

Кстати, обновлял два раза реплику, сначала на 3.0, потом на 3.2, все прошло без проблем, без даунтайма. Думаем на 3.4 переходить в ближайшее время.
Проверьте внимательно, не используете ли где выпиленный db.collection.group(), на 3.4 не будет работать.

Разве? В 3.4 он только помечен как deprecated.
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39623832
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
HettAndy_OLAPпропущено...

Проверьте внимательно, не используете ли где выпиленный db.collection.group(), на 3.4 не будет работать.

Разве? В 3.4 он только помечен как deprecated.
Да, Вы правы, работать будет, но я таки что имел в виду - когда deprecated, а какой-нибудь фикс в одном месте отламывает этот метод в другом месте или приводит к диким тормозам - никто чинить к тому, как раньше классно работало, уже не будет. Махнут рукой и скажут "да ладно, мы всех предупредили заранее, так что перепишут, если будет нужен".
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39634871
Михаил
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Hett,

не напишите плз мне для контакта на мейл в моем профиле?
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39635667
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
skyANAМихаил,

мы хостимся в AWS, монга развёрнута на M4.2xlarge инстансах.
Добрый день. Как Ваша монга, еще доступна?
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39635673
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
МихаилHett,

не напишите плз мне для контакта на мейл в моем профиле?

Можете спросить тут :)
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39635675
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кстати обновил реплику с 3.2 на 3.4, но дальше пока сложности, появились записи о деприкейтах и нужно их устранять, прежде чем апгрейдиться дальше.
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39636113
Михаил
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
HettМихаилHett,

не напишите плз мне для контакта на мейл в моем профиле?

Можете спросить тут :)

Вас кратковременная консалтерская работа не интересует?
(MongoDB)
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39636259
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Михаил,

да я в монге далеко не эксперт, даже с шардингом дел не имел. Тут поопытней ребята есть.
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39637328
Михаил
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
HettМихаил,

да я в монге далеко не эксперт, даже с шардингом дел не имел. Тут поопытней ребята есть.

Ок, разместил в "Работе".
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39638441
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Andy_OLAPskyANAМихаил,

мы хостимся в AWS, монга развёрнута на M4.2xlarge инстансах.
Добрый день. Как Ваша монга, еще доступна?
доступна
...
Рейтинг: 0 / 0
Посоветуйте сервис для MongoDB
    #39638442
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
МихаилHettпропущено...


Можете спросить тут :)

Вас кратковременная консалтерская работа не интересует?
(MongoDB)А какого рода работа?
...
Рейтинг: 0 / 0
46 сообщений из 46, показаны все 2 страниц
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Посоветуйте сервис для MongoDB
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]