Гость
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Посоветуйте сервис для MongoDB / 25 сообщений из 46, страница 1 из 2
15.02.2018, 12:27
    #39602252
Михаил
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Посоветуйте сервис для MongoDB
Привет!

мы разработали приложение (игра) по схеме: Клиент-Node.js-MongoDB

Пока база лежит на mLab на тарифе Shared Cluster.
Сейчас начался рост нагрузки и скоро он выйдет за пределы возможностей этого тарифа.

Как цель мы прогнозируем:
100-200 запросов в секунду
100GB данных в коллекциях

Как вариант, мы можем перейти на mLab на тариф Dedicated, который начинается от $180 в месяц (и быстро растет).
Вопрос, насколько это адекватные условия.

Какие сейчас есть хорошие альтернативы?
Кто-нибудь уже решал эту задачу для себя?
...
Рейтинг: 0 / 0
15.02.2018, 13:22
    #39602293
Hett
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Посоветуйте сервис для MongoDB
Развернуть свою реплику?
...
Рейтинг: 0 / 0
15.02.2018, 13:33
    #39602303
skyANA
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Посоветуйте сервис для MongoDB
...
Рейтинг: 0 / 0
15.02.2018, 13:34
    #39602306
skyANA
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Посоветуйте сервис для MongoDB
AWS, Azure
...
Рейтинг: 0 / 0
15.02.2018, 13:40
    #39602313
Михаил
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Посоветуйте сервис для MongoDB
Hett,

тоже как вариант вариант, правда придется перенять соотв. геморрой.

Хорошо бы тут услышать мнение типа: мы все посчитали, получается самим разворачивать несравнимо лучше.
...
Рейтинг: 0 / 0
15.02.2018, 13:43
    #39602320
Михаил
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Посоветуйте сервис для MongoDB
skyANA,

спасибо!

Я, собственно, уже нагуглил и копался в том числе и на Atlas.

Про Atlas мне попадается инфа, что пользователи часто получают счет гораздо больше, чем ожидали. Даже в разы!

Поэтому хочется конкретных соображений по выбору и/или инфы о своем опыте.
...
Рейтинг: 0 / 0
15.02.2018, 16:17
    #39602472
skyANA
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Посоветуйте сервис для MongoDB
Михаил,

мы хостимся в AWS, монга развёрнута на M4.2xlarge инстансах.
...
Рейтинг: 0 / 0
15.02.2018, 16:23
    #39602478
skyANA
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Посоветуйте сервис для MongoDB
Объём данных на данный момент - 700GB.

При этом ресурс машин утилизируется далеко не полностью. То есть мы могли бы использовать инстансы и подешевле.
...
Рейтинг: 0 / 0
15.02.2018, 17:22
    #39602529
Михаил
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Посоветуйте сервис для MongoDB
skyANA,

а какого порядка "query/sec"?

SSD?
...
Рейтинг: 0 / 0
16.02.2018, 17:52
    #39603257
Eleanor
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Посоветуйте сервис для MongoDB
МихаилХорошо бы тут услышать мнение типа: мы все посчитали, получается самим разворачивать несравнимо лучше.
Например, мы разворачивали сами, это дешевле.
Данных 20 ТБ, нагрузка - же 100-200 запросов в секунду, данные на обычных 10К дисках.
...
Рейтинг: 0 / 0
16.02.2018, 20:05
    #39603320
Михаил
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Посоветуйте сервис для MongoDB
Eleanor,

с шардингом?
Сколько хостов и с какими CPU?

WiredTiger?
...
Рейтинг: 0 / 0
17.02.2018, 02:53
    #39603391
Eleanor
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Посоветуйте сервис для MongoDB
Михаил,

Шардинг на 2 сервера. 16 ядер нагружены в районе 2%, нагрузке и взяться неоткуда, там простейшие чтения-вставки, а вся более сложная обработка - в реляционной части системы.

Данные в принципе можно было не шардировать и держать все на одном сервере, но на этапе начального внедрения были мысли, что расширяться будем, закупая новые сервера и добавляя новые шарды. А оказалось, что нагрузка растет медленно, и только диски нужно постоянно докупать.

На WiredTiger не перешли.
...
Рейтинг: 0 / 0
17.02.2018, 12:00
    #39603427
Hett
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Посоветуйте сервис для MongoDB
Что-то не понял, у вас шарды не являются реплика-сетами?
...
Рейтинг: 0 / 0
17.02.2018, 14:09
    #39603455
Михаил
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Посоветуйте сервис для MongoDB
Eleanor...и только диски нужно постоянно докупать.

На WiredTiger не перешли.

WT вроде жмет хорошо!
...
Рейтинг: 0 / 0
19.02.2018, 18:41
    #39604404
Eleanor
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Посоветуйте сервис для MongoDB
HettЧто-то не понял, у вас шарды не являются реплика-сетами?
Являются, кроме 2 рабочих шард если еще по 1 дублирующей реплики на каждую.

МихаилWT вроде жмет хорошо!
Жмет-то хорошо, но при проведении тестирования zlib в логе было сообщение, что в процессе сжатия возникло ~300 ошибок. Решили, что не готовы этим пользоваться и сжимаем-разжимаем данные на стороне клиента.
...
Рейтинг: 0 / 0
11.03.2018, 15:55
    #39612998
Andy_OLAP
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Посоветуйте сервис для MongoDB
EleanorМихаил,

Шардинг на 2 сервера. 16 ядер нагружены в районе 2%, нагрузке и взяться неоткуда, там простейшие чтения-вставки, а вся более сложная обработка - в реляционной части системы.

Данные в принципе можно было не шардировать и держать все на одном сервере, но на этапе начального внедрения были мысли, что расширяться будем, закупая новые сервера и добавляя новые шарды. А оказалось, что нагрузка растет медленно, и только диски нужно постоянно докупать.

На WiredTiger не перешли.
Из-за кривой работы WT с zilb и silent data corruption не рискнули? Или из-за медленного поиска по ключу?
MMAPv1 используется на 2.6 (блокировка на уровне базы) или 3.x (блокировка на уровне коллекции)? Бэкап через LVM или обычным способом?
...
Рейтинг: 0 / 0
11.03.2018, 16:04
    #39613002
Andy_OLAP
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Посоветуйте сервис для MongoDB
Eleanor при проведении тестирования zlib в логе было сообщение, что в процессе сжатия возникло ~300 ошибок
Тестирование было на 3.0.1 версии?
...
Рейтинг: 0 / 0
12.03.2018, 17:15
    #39613641
Eleanor
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Посоветуйте сервис для MongoDB
Andy_OLAP,

>> Из-за кривой работы WT с zilb и silent data corruption не рискнули? Тестирование было на 3.0.1 версии?
Точную версию не помню, но пришлось тестировать практически сразу после появления тройки, чтобы успеть, пока на серверах еще было место под вторую полную копию БД.
А потом руководство с Mongo наигралось, и на кластер больше никто не ковыряет, если проблем не возникает.

>> Бэкап через LVM или обычным способом?
Фактически LVM. Но вы не поверите, у нас Windows.

Тоже где-то используете MongoDB в своем банке?
...
Рейтинг: 0 / 0
12.03.2018, 19:51
    #39613748
Andy_OLAP
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Посоветуйте сервис для MongoDB
EleanorAndy_OLAP,

>> Из-за кривой работы WT с zilb и silent data corruption не рискнули? Тестирование было на 3.0.1 версии?
Точную версию не помню, но пришлось тестировать практически сразу после появления тройки, чтобы успеть, пока на серверах еще было место под вторую полную копию БД.
А потом руководство с Mongo наигралось, и на кластер больше никто не ковыряет, если проблем не возникает.

>> Бэкап через LVM или обычным способом?
Фактически LVM. Но вы не поверите, у нас Windows.

Тоже где-то используете MongoDB в своем банке?
"Фактически LVM" - Windows на гипервизоре, а на нем что-то типа ZFS?
Пока мне свой банк не нужен, но если обзаведусь - буду использовать MongoDB. По-моему, таки большая часть косяков уже оттуда выпилена. Хотя бы тот факт, что Петя Зайцев под нее предоставляет сборку Percona Server, уже о многом говорит :)
...
Рейтинг: 0 / 0
12.03.2018, 21:51
    #39613794
Eleanor
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Посоветуйте сервис для MongoDB
Andy_OLAP,

Гипервизора нет. NTFS, shadow copy через vssadmin.

Косяки, да, повыпиливали.
Еще 3 года назад пользоваться MongoDB было страшно. Заявленный в документации функционал не работал. Например, запускаешь создание индексов онлайн - и коллекция 4 часа недоступна.

У всей команды долго было искушение выкинуть MongoDB и залить данные в реляционку. Сейчас проблем практически нет, но осадок остался.
...
Рейтинг: 0 / 0
12.03.2018, 23:05
    #39613824
Hett
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Посоветуйте сервис для MongoDB
Что за онлайн индексы? Почему не background ?
...
Рейтинг: 0 / 0
12.03.2018, 23:21
    #39613830
Eleanor
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Посоветуйте сервис для MongoDB
Hett,

Background и есть. Назвала ближайший аналог в Sql Server, с которым работает Andy_OLAP.
Обожглись с ним, уже не помню в какой версии, но с rolling index build всегда было отлично.
...
Рейтинг: 0 / 0
13.03.2018, 12:18
    #39614044
Hett
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Посоветуйте сервис для MongoDB
Eleanor,

а не помните конкретный кейс, в котором это произошло? Или не разбирались с причинами?
Мы начали полномасштабное внедрение где-то с третьей версии, тогда же и начали background индексами пользоваться, проблем с ними не было пока.
...
Рейтинг: 0 / 0
13.03.2018, 13:40
    #39614093
Eleanor
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Посоветуйте сервис для MongoDB
Hett,

Думаю, это давно уже починили. У нас внедрение пошло где-то с версии 2.2 и большинство проблем собрали именно на начальных версиях.

Из проблем на тройке запомнилось только то, что база начала сильно тормозить при разрастании файла лога до гигабайт. Но тут сами виноваты, что довели его до такого размера.
И под нагрузкой иногда падает сервис, что специфично только для Windows.
...
Рейтинг: 0 / 0
13.03.2018, 16:43
    #39614222
Hett
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Посоветуйте сервис для MongoDB
EleanorИз проблем на тройке запомнилось только то, что база начала сильно тормозить при разрастании файла лога до гигабайт
Интересно. У нас и до 30 Гб логи выростали, но кластер на убунте. Все никак руки не добуертся сделать ротацию. Хотя тут правда можно было и из коробки сделать, тем более там все для этого есть.
...
Рейтинг: 0 / 0
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Посоветуйте сервис для MongoDB / 25 сообщений из 46, страница 1 из 2
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]