|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
Приходит много данных. В большинстве случаев это insert или update. Транзакции, ссылочная целостность не нужны, поэтому можно использовать NoSql решения. Что-то гугл мне не помогает найти какую-то полезную информацию по этому поводу. При прочем равном выбор падёт на SQL решение. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2019, 17:22 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
Нужно ли трекать эти insert/update или важно только последнее значение? Какие типы запросов планируются? Что даст NoSQL тут по-твоему? В чем затык с реляционной базой? Масштабирование? Репликация? Партиционирование? Какой объем данных ожидается? Предварительно можно посомтреть на Cassandra имхо ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2019, 17:51 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
Можно отсюда посмотреть. https://db-engines.com/en/ranking По сути эта линка - универсальный ответ. Дальше - нужны какие-то детали. Хотя-бы стоимость лицензии. Будете платить? Или хочется бесплатного? ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2019, 17:52 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
redwhite90, Что за хранилище где не нужна целостность и т.д.?)))) Файл возьми. Писать очень быстро. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2019, 17:52 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
PetroNotC Sharp, Тоже про файл подумал) ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2019, 17:53 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
PetroNotC Sharpredwhite90, Что за хранилище где не нужна целостность и т.д.?)))) Файл возьми. Писать очень быстро. Практически любой временной ряд - просто запись температуры с датчика, там к примеру даже апдейт не нужен. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2019, 17:55 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
Sergunka, Ну стрим с кинофильмами тоже в файл пишут. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2019, 17:57 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
Это либо TimeSeries (экзотика) либо EventStore. Последнее работает успешно в банках. Написано кажется на ДотНете и скорость пишуших транзакций у него отличная. Насчет updates я не уверен. Надо смотреть архитектурно можно ли update рассматривать как еще один корректирующий insert. Если архитектурно можно - то взлетит. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2019, 17:59 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
redwhite90Приходит много данных. В большинстве случаев это insert или update. Транзакции, ссылочная целостность не нужны, поэтому можно использовать NoSql решения. Что-то гугл мне не помогает найти какую-то полезную информацию по этому поводу. При прочем равном выбор падёт на SQL решение. Вроде как Кассандра официальный чемпион по этому делу. Скажите объемы записей в секунду тогда боле-менее будет понятно куда двигатся. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2019, 17:59 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
PetroNotC SharpSergunka, Ну стрим с кинофильмами тоже в файл пишут. Технически в фильме нет временных тегов и особой нужды выбирать по тегу. Во временном ряду это довольно рядовая операция практически любой МЛ алгоритм Anomaly detection на этом построен. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2019, 18:02 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
Ну. Кассандра она имеет лимиты по оперативке. И она больше для UPDATES чеме для INSERTS. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2019, 18:04 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
maytonНасчет updates я не уверен. Надо смотреть архитектурно можно ли update рассматривать как еще один корректирующий insert. Если архитектурно можно - то взлетит. Это в Кассандре реализованно как новая версия для записи. И если мой склероз не изменяет можно вытащить все версии для записи. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2019, 18:05 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
Задача - что-то типа краулинга .SEMRUSH как я понял делает нечто похожее. Вот тут некто пишет: https://eax.me/avoid-nosql/ Наконец, Cassandra использует LSM-tree. Этот способ хранения данных подходит далеко не под все нагрузки. Если вы пишите и удаляете много данных (например, решили использовать Cassandra для хранения очередей), это будет работать очень и очень плохо. Но у нас по идее удалений мало будет ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2019, 18:28 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
Sergunkaredwhite90Приходит много данных. В большинстве случаев это insert или update. Транзакции, ссылочная целостность не нужны, поэтому можно использовать NoSql решения. Что-то гугл мне не помогает найти какую-то полезную информацию по этому поводу. При прочем равном выбор падёт на SQL решение. Вроде как Кассандра официальный чемпион по этому делу. Скажите объемы записей в секунду тогда боле-менее будет понятно куда двигатся. А можно какой-то прув? ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2019, 18:30 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
redwhite90много данных.цифры то будут? ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2019, 18:43 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
забыл никНужно ли трекать эти insert/update или важно только последнее значение? Какие типы запросов планируются? Что даст NoSQL тут по-твоему? В чем затык с реляционной базой? Масштабирование? Репликация? Партиционирование? Какой объем данных ожидается? Предварительно можно посомтреть на Cassandra имхо Ну по масштабированию однозначно NOSQL должна побеждать. Это было что-то типа преинтервью в проект, поэтому я не знаю всех деталей. Но меня удивила сама постановка вопроса, что упор на то, что много записей и обновлений. Нужно выбрать хранилище заточенное на такие операции. Про запросы на выборку ничего не известно ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2019, 18:49 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
Когда в свое время заморачивался скоростью, меня SQL Lite вполне устроил. По скорости на простых точечных (одна запись) select/insert'ах раз в 7-8 быстрее PostgreSQL, Основное ускорение (на моей задаче) - отсутсвия протокола TCP/IP между прикладным кодом и БД. Т.ч. не уверен, что даже Non-SQL memory базы работающие через TCP/IP будут быстрее. TCP/IP (даже loopback) привносит слишком большие издержки. IMHO & AFAIK ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2019, 18:51 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
redwhite90Это было что-то типа преинтервью в проект, поэтому я не знаю всех деталей. Но меня удивила сама постановка вопроса, что упор на то, что много записей и обновлений. Нужно выбрать хранилище заточенное на такие операции. Про запросы на выборку ничего не известно Ну может от вас и требовалось пораасуждать, поздавать наводящие вопросы хз. Ибо формулировка - будет много инсертов и апдейтов лишь вычеркивает все заточенное под OLAP, но не сильно упрощает понимание. Тут надо крутиться от других требований ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2019, 19:20 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
redwhite90поэтому я не знаю всех деталей.как узнаешь, приходи. Сейчас твой вопрос равносилен: "нужно перевезти много груза. Что посоветуете"? ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2019, 19:23 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
забыл ник...будет много инсертов и апдейтов лишь вычеркивает... ну для меня скорее это вычеркивает PostgreSQL с его vacuum или, по крайне мере, заставляет задуматься и проверить пригодность PostgreSQL на тестах. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2019, 19:51 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
Я тоже заметил что PostgreSQL не игрок клуба TPC* тестов где тусят обычно IBM, Oracle, MS. Наверное стыдится. Хотя JSONB это они здорово придумали. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2019, 20:27 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
redwhite90Sergunkaпропущено... Вроде как Кассандра официальный чемпион по этому делу. Скажите объемы записей в секунду тогда боле-менее будет понятно куда двигатся. А можно какой-то прув? Никакой она не чемпион. Потому-что конкурса никакого не было. Это ... знаете-ли как чемпионство среди Стебельков и ФВМясов. Кроме специфичного бенчмарка который написал сам автор никаких других сравнений не было. Всё нишевое. Специфичное. Вы даже WHERE свободно не можете в кассандре написать. Предикат не летает для всех полей by default. Просто такова архитектура. Ну а если реально нужно в одной нише сравнивать. Возьмите сравнение Apache Ignite vs Apache Cassandra. Если таковое сущесствует канешна. Ну и правила судейства. Что хотим. Скорость транзакций? Это одно. Реакция на падение ноды. И способность кластера безболезненно ее пережить - это совсем-совсем другое. Вот и попробуйсте просто поставить грамотно задачу тестирования. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2019, 20:30 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
забыл никredwhite90Это было что-то типа преинтервью в проект, поэтому я не знаю всех деталей. Но меня удивила сама постановка вопроса, что упор на то, что много записей и обновлений. Нужно выбрать хранилище заточенное на такие операции. Про запросы на выборку ничего не известно Ну может от вас и требовалось пораасуждать, поздавать наводящие вопросы хз. Ибо формулировка - будет много инсертов и апдейтов лишь вычеркивает все заточенное под OLAP, но не сильно упрощает понимание. Тут надо крутиться от других требований Я думаю, что так и есть. Вопрос собственно в том, чтобы эти ветки выделить и расписать когда что лучше. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2019, 21:24 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
PetroNotC Sharpredwhite90много данных.цифры то будут? Как обычно в реальном мире клиент надеется, что бизнес будет расти, поэтому хочет заложить наиболее подходящий продукт под требования известные на данном этапе. Пока это должно быть что-то стандартное(не самописное). ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2019, 21:33 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
redwhite90Как обычно в реальном мире клиент надеется, что бизнес будет растиНу дак напишите за него ТЗ и определите сколько миллиардов инсертов нужно. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2019, 21:56 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
PetroNotC Sharpredwhite90Как обычно в реальном мире клиент надеется, что бизнес будет растиНу дак напишите за него ТЗ и определите сколько миллиардов инсертов нужно. Заказчик скажет, что напишите столько сколько держит лучшее изкоробочное стандартное решение. Да и западло ему по ТЗ работать. Он хочет, чтобы бизнес вырос, а не вот это вот всё.... ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2019, 23:13 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
redwhite90PetroNotC Sharpпропущено... Ну дак напишите за него ТЗ и определите сколько миллиардов инсертов нужно. Заказчик скажет, что напишите столько сколько держит лучшее изкоробочное стандартное решение. Да и западло ему по ТЗ работать. Он хочет, чтобы бизнес вырос, а не вот это вот всё.... елки. Счас третью страницу воду в ступе будем толочь. Это как покупатель приходит в магазин и говорит: "Дайте самый лучший компьютер!". ... Аффтар! Любая СУБД запишет 100000 записей в сек. Устраивает? ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2019, 23:35 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
maytonЯ тоже заметил что PostgreSQL не игрок клуба TPC* тестов где тусят обычно IBM, Oracle, MS. Наверное стыдится. Хотя JSONB это они здорово придумали. Еще бы для Джейсона дсл толковый придумали а не это барахло ... |
|||
:
Нравится:
Не нравится:
|
|||
10.07.2019, 00:26 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
maytonМожно отсюда посмотреть. https://db-engines.com/en/ranking По сути эта линка - универсальный ответ. Дальше - нужны какие-то детали. Хотя-бы стоимость лицензии. Будете платить? Или хочется бесплатного? Я вижу только список по популярности. Вы его хотели показать? ... |
|||
:
Нравится:
Не нравится:
|
|||
10.07.2019, 01:01 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
redwhite90Я вижу только список по популярностиа твой вопрос уже стал неинтересен. Так бывает) ... |
|||
:
Нравится:
Не нравится:
|
|||
10.07.2019, 06:46 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
redwhite90maytonМожно отсюда посмотреть. https://db-engines.com/en/ranking По сути эта линка - универсальный ответ. Дальше - нужны какие-то детали. Хотя-бы стоимость лицензии. Будете платить? Или хочется бесплатного? Я вижу только список по популярности. Вы его хотели показать? Это прекрасное начало. Ведь до этого у нас не было никаких критериев. А теперь есть список. Вот что там первое в категории NoSql? Redis. Вот и выбор сделан. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.07.2019, 07:12 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
redwhite90maytonМожно отсюда посмотреть. https://db-engines.com/en/ranking По сути эта линка - универсальный ответ. Дальше - нужны какие-то детали. Хотя-бы стоимость лицензии. Будете платить? Или хочется бесплатного? Я вижу только список по популярности. Вы его хотели показать? Мобильные операторы используют реляционные базы данных. Всякий метрополитен в Москве где люди ходят по билетам. Они пишут много данных, или так себе? фигню какую то а не данные? Банки типа сбера с их карточными транзакциями, вполне работают на реляционых данных. У них много инсертов? ничего, кто на оракле, кто на чем. База же необязательно ровно одна и все. бывает и несколько. Фронт система, оперативная отчетность, архив. То есть, вопрос и правда непонятен. Если данные только вставляются, то это непонятно зачем. Кто и когда их потом читать будет. Ну и. Суммарные бюджетные ограничения? Архитектура с верха до низа .... Приборы? - 200. ЧТО - 200? а что - ПРИБОРЫ? ... |
|||
:
Нравится:
Не нравится:
|
|||
10.07.2019, 10:00 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
а так..... ну посмотрите 10 типовых решений для отрасли, и найдите что они сделаны все на том же. И таки не мешают бузинессу развиваться..... (с) еще никого не уволили за то, что он выбрал оракл - (где то в недрах форума) ... |
|||
:
Нравится:
Не нравится:
|
|||
10.07.2019, 10:10 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
Можно начать с редиски. Потом если не хватит памяти - плавно переехать на LevelDb и ее братьев-клонов. Тарантул еще очень хвалят. Вроде там специальные стуктуры данных отличные от B+Tree оптимизированные для inserts да и еще и на диске. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.07.2019, 10:21 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
Vladimir BaskakovПриборы? - 200. ЧТО - 200? а что - ПРИБОРЫ? +1 ТС не хочет за заказчика ТЗ составлять. Дык все составляют и не пищат. Или не хочет за БА расписать предметку подробно? Тогда получается пршел журналист брать интервью на тему: "Какие базы самые быстрые?" ... |
|||
:
Нравится:
Не нравится:
|
|||
10.07.2019, 10:39 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
Я-бы спросил бизнес про другое. Как быстро будет расти БД? Успеем ли мы докупать оперативку. Возможен вариант когда будет взрывной рост. И тогда мы обосрались с архитектурой in-memory к примеру. Но она - привлекает своей простотой. Еще вопрос. Какого рода отчоты бизнес захочет видеть? Если брать key-value то возможности у нас невелики (привет Кассандре). А если брать даже самую слабую реляционку - то можно строить и группировки и иерархические запросы без кодинга дурацких циклов на С++. Всё решит двигатель DBMS. Вобщем Редиска или SQLite. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.07.2019, 10:48 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
По поводу оперативки. Мы живем в век стремительного удешевления носителей. И наши подходы которые были в 20м веке возможно стоит пересмотреть. В противоположность человеческий ресурс по прежнему дорог. Внимание или просто взгляд специалиста на тикет с проблемой уже стоит денег. Может лучше просто прикупить железка? Я возьму текущие цены на две планки памяти HyperX по 8 и 16 гигов соотв. Не серверная. А обычная десктопная память по ценам магазинов. И посчитаю удельную стоимость гига в долларах для удобства. Model Memory Size (GB) Price $ per GBHyperX DDR4-2400 8 47.24 5.90HyperX DDR4-4300 16 107.10 6.60 Грубо говоря 6 долларов стоит 1 Гигабайт. При зарплате среднего синьор-помидор девелопера 3800 $ за 2 месяца от грубо говоря отработал 3800 / 6 = 633 Gb. Вроде не ошибся? Поправьте если где чего. Вобщем думайте. Стоит ли вкладывать в бездельнка который 2 месяца на онбординге и на испыталове будет валять дурака вместо того чтобы просто купить железо. Ну и конешно остался пустяк. Проверить что железка экстендилась на такой объём. Это так. В виде старта дискурса. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.07.2019, 11:15 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
Есть еще latency. Все решения ходящие в другой процесс по TCP/IP, по данному критерию тут же будут проигрывать чему нибудь in site типа SQL Lite. IMHO & AFAIK И никакое in memory не поможет. К тому же, открути от базы данных целостность, и любая БД тут же по скорости приблизится к in memory ))). p.s. Выбирал в свое время между Level DB vs SQL Lite - по тестам примерно аналогичные скорости. Но Levei DB 3-и года назад показался жутко сырым и Java драйверы были только от каких-то наколеночно-гаражных студентов. Прогресс и стартапы оно конечно хорошо, но иногда хочется надежности и предсказуемости ))) ... |
|||
:
Нравится:
Не нравится:
|
|||
10.07.2019, 12:21 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
maytonЯ возьму текущие цены на две планки памяти HyperX по 8 и 16 гигов соотв. Не серверная. А обычная десктопная память по ценам магазинов. ... Вроде не ошибся? Поправьте если где чего.Ну и как вы собрались этой "обычной десктопной памятью" набрать хотя бы 256ГБ ОЗУ? ... |
|||
:
Нравится:
Не нравится:
|
|||
10.07.2019, 13:01 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
Basil A. SidorovmaytonЯ возьму текущие цены на две планки памяти HyperX по 8 и 16 гигов соотв. Не серверная. А обычная десктопная память по ценам магазинов. ... Вроде не ошибся? Поправьте если где чего.Ну и как вы собрались этой "обычной десктопной памятью" набрать хотя бы 256ГБ ОЗУ? +1 Хороший вопрос. Я пока только говорю про бюджетные игрушки. Не серверное железо. Из игровых Asus ROG Rampage VI Extreme Omega (s2066, Intel X299, PCI-Ex16) поддерживает до 128 Гб. Тот же лимит под MSI MEG X570 Godlike (sAM4, AMD X570, PCI-Ex16). ... |
|||
:
Нравится:
Не нравится:
|
|||
10.07.2019, 14:14 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
Года четыре назад, нужно было тестировать дисковую стойку. Админы под это дело выдали "валявшийся" 1-юнитовый сервер как раз с 256 Gb оперативки. Т.ч. оперативка нынче не проблема ))). Другое дело, когда разрабатывал распределенную систему работающую на Амазоне, уткнулся в latency TCP/IP, даже locatlhost, не удаленный. И RMI (Remote Method Invocation) достаточно сильно тупил, и PostgreSQL нужной скорости не выдавала. С RMI пришлось укрупнять вызовы, пропихивать на обработку в другой JVM сразу пачку заданий в 100 штук, значительно усложнился код, но в 100 раз возрасла скорость доставки данных. От PostgreSQL просто стал избавляться. В часте обработки, заменил PostgreSQL банально на сериализованные массивы просто в файлах на диске (сообтсвтственно БД заменилась на сильно "большой" атомарный /не стандартный!/ HashTable), в часте подготовки данных (где нужны были и insert'ы и select'ы) на SQL Lite. Смотрел на Редисы, Memory DB, но: 1. Память хоть и не являлась "проблемой". Но деньги стоила. Т.ч. стоимость владения системой была бы выше (и так даже ценник за IP трафик от amazon'а уже начинал "кусаться", пару терабайт в месяц я один запросто "накачивал"). 2. Никак не убирала проблемы огромной latency в TCP/IP. А при том, что ноды бы оказались еще и раскиданы в кластере, latency только бы выросло в разы. Плюс Ethernet трафик был бы крайне приличный. Знаю одну реальную контору, админы жаловались, что узкое место в стойке - свитчи. Не справляются. Им даже пришлось шифрование трафика отключать, но не сильно помогло. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.07.2019, 14:26 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
Leonid KudryavtsevОт PostgreSQL просто стал избавляться. В часте обработки, заменил PostgreSQL банально на сериализованные массивы просто в файлах на диске (сообтсвтственно БД заменилась на сильно "большой" атомарный /не стандартный!/ HashTable), в часте подготовки данных (где нужны были и insert'ы и select'ы) на SQL Lite. Амазон в качестве key-value продает DynamoDB. Возможно стоило отказаться от Postgres и заменить его на Динаму если HashTable был решением. По идее - должно работать. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.07.2019, 14:50 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
Leonid KudryavtsevСмотрел на Редисы, Memory DB, но: 1. Память хоть и не являлась "проблемой". Но деньги стоила. Т.ч. стоимость владения системой была бы выше (и так даже ценник за IP трафик от amazon'а уже начинал "кусаться", пару терабайт в месяц я один запросто "накачивал"). Совершенно верно. Если вы покупаете EC2 instance то конфигурации которые вам продают скорее всего будут линейно и пропорционально прокачивать количество CPU и память в совокупности. Тоесть купить удобную для InMemoryDb конфигурацию будет либо невозможно либо слишком дорого. Отдельно Амазон продает Редис под названием ElastiCache. Это обёртка под которой можно выбирать либо Redis либо Memcached. Там можно заказать инстанс cache.r5.24xlarge с 600 Гигами. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.07.2019, 15:14 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
Меня вообще latency TCP/IP в процессе работы перестало устраивать. Т.ч. все кластерные идеи пошли лесом. Даже там, где изначально сделал разделение JVM-машин через RMI, пришлось API "укрупнять". Мне нужно было несколько тысячь-десятков тысяч различных авиа-маршрутов просчитать и сравнить (при этом разно "тяжелых", отдельные маршруты до десятков-сотни миллионов вариантов пересадок давали) Можно конечно было-бы супер-пупер кластеризованную систему из тысячь одновременно работающих потоков соорудить ))), каждый на своем компьютере и пофиг на latency ))) но я просто код соптимизировал и вполне нормально на 4 процессорной ноде в десяток потоков все считал ))) Если поток данных большой и плохо поддается "батчингу', то сеть вполне может стать непроходимым узким местом. (напрмер мне перед каждым Insert'ом нужно было еще сверится с БД и проверить данные пришедшие до этого Insert'а, т.ч. массовая вставка шла лесом или сильно усложняла /и замедляла/ алгоритмы) ... |
|||
:
Нравится:
Не нравится:
|
|||
10.07.2019, 15:22 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
Мда. Тут синхронизм самой постановки все ограничил изначально. Результат пользователь всегда ожидает синхронно. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.07.2019, 15:40 |
|
Какое хранилище выбрать если будет много insert/update
|
|||
---|---|---|---|
#18+
maytonЯ-бы спросил бизнес про другое. Как быстро будет расти БД? Успеем ли мы докупать оперативку. Возможен вариант когда будет взрывной рост. И тогда мы обосрались с архитектурой in-memory к примеру. Но она - привлекает своей простотой. Еще вопрос. Какого рода отчоты бизнес захочет видеть? Если брать key-value то возможности у нас невелики (привет Кассандре). А если брать даже самую слабую реляционку - то можно строить и группировки и иерархические запросы без кодинга дурацких циклов на С++. Всё решит двигатель DBMS. Вобщем Редиска или SQLite. в прошлой большой конторе где работал, воткнулись в то что при масштабировании решения стала невмочной лицензия. поэтому срочно добавили в технологический стек Hadoop.... который масштабируется куда как дешевле. в качестве основы архивного хранения. Но. Цена, это же не только лицензии и железо. Это еще и разработчики. Сколько людей надо согнать на период разработки и поддержки. Реляционщиков море. Особенно для общеизвестных БД. Бери не хочу. То есть, вопрос выбора базы - это часть куда как более обширного, в котором надо учитывать весь жизненный цикл продукта и его экосистему. А так вот прийти на форум и спросить - а подскажите хорошую базу. Да блин, они все хорошие, отличные и замечательные. А кому не нравятся кошки - пройдите мастер класс у шеф-повара.... не в порядке спора, а так. проходя мимо. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.07.2019, 17:03 |
|
|
start [/forum/topic.php?all=1&fid=59&tid=2121204]: |
0ms |
get settings: |
8ms |
get forum list: |
14ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
176ms |
get topic data: |
13ms |
get forum data: |
3ms |
get page messages: |
71ms |
get tp. blocked users: |
1ms |
others: | 16ms |
total: | 308ms |
0 / 0 |