powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Форумы / Java [игнор отключен] [закрыт для гостей] / Какое хранилище выбрать если будет много insert/update
46 сообщений из 46, показаны все 2 страниц
Какое хранилище выбрать если будет много insert/update
    #39835581
redwhite90
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Приходит много данных. В большинстве случаев это insert или update. Транзакции, ссылочная целостность не нужны, поэтому можно использовать NoSql решения. Что-то гугл мне не помогает найти какую-то полезную информацию по этому поводу.
При прочем равном выбор падёт на SQL решение.
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835611
забыл ник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Нужно ли трекать эти insert/update или важно только последнее значение?
Какие типы запросов планируются?
Что даст NoSQL тут по-твоему? В чем затык с реляционной базой? Масштабирование? Репликация? Партиционирование?
Какой объем данных ожидается?

Предварительно можно посомтреть на Cassandra имхо
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835613
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Можно отсюда посмотреть. https://db-engines.com/en/ranking

По сути эта линка - универсальный ответ. Дальше - нужны какие-то детали.
Хотя-бы стоимость лицензии. Будете платить? Или хочется бесплатного?
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835614
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
redwhite90,
Что за хранилище где не нужна целостность и т.д.?))))
Файл возьми. Писать очень быстро.
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835615
забыл ник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharp,
Тоже про файл подумал)
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835617
Sergunka
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharpredwhite90,
Что за хранилище где не нужна целостность и т.д.?))))
Файл возьми. Писать очень быстро.

Практически любой временной ряд - просто запись температуры с датчика, там к примеру даже апдейт не нужен.
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835618
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Sergunka,
Ну стрим с кинофильмами тоже в файл пишут.
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835622
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Это либо TimeSeries (экзотика) либо EventStore. Последнее работает успешно в банках. Написано кажется
на ДотНете и скорость пишуших транзакций у него отличная.

Насчет updates я не уверен. Надо смотреть архитектурно можно ли update рассматривать как еще один
корректирующий insert. Если архитектурно можно - то взлетит.
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835623
Sergunka
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
redwhite90Приходит много данных. В большинстве случаев это insert или update. Транзакции, ссылочная целостность не нужны, поэтому можно использовать NoSql решения. Что-то гугл мне не помогает найти какую-то полезную информацию по этому поводу.
При прочем равном выбор падёт на SQL решение.

Вроде как Кассандра официальный чемпион по этому делу. Скажите объемы записей в секунду тогда боле-менее будет понятно куда двигатся.
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835625
Sergunka
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC SharpSergunka,
Ну стрим с кинофильмами тоже в файл пишут.

Технически в фильме нет временных тегов и особой нужды выбирать по тегу. Во временном ряду это довольно рядовая операция практически любой МЛ алгоритм Anomaly detection на этом построен.
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835628
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ну. Кассандра она имеет лимиты по оперативке. И она больше для UPDATES чеме для INSERTS.
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835630
Sergunka
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonНасчет updates я не уверен. Надо смотреть архитектурно можно ли update рассматривать как еще один
корректирующий insert. Если архитектурно можно - то взлетит.

Это в Кассандре реализованно как новая версия для записи. И если мой склероз не изменяет можно вытащить все версии для записи.
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835637
redwhite90
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Задача - что-то типа краулинга .SEMRUSH как я понял делает нечто похожее.

Вот тут некто пишет:

https://eax.me/avoid-nosql/ Наконец, Cassandra использует LSM-tree. Этот способ хранения данных подходит далеко не под все нагрузки. Если вы пишите и удаляете много данных (например, решили использовать Cassandra для хранения очередей), это будет работать очень и очень плохо.

Но у нас по идее удалений мало будет
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835638
redwhite90
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Sergunkaredwhite90Приходит много данных. В большинстве случаев это insert или update. Транзакции, ссылочная целостность не нужны, поэтому можно использовать NoSql решения. Что-то гугл мне не помогает найти какую-то полезную информацию по этому поводу.
При прочем равном выбор падёт на SQL решение.

Вроде как Кассандра официальный чемпион по этому делу. Скажите объемы записей в секунду тогда боле-менее будет понятно куда двигатся.

А можно какой-то прув?
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835644
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
redwhite90много данных.цифры то будут?
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835651
redwhite90
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
забыл никНужно ли трекать эти insert/update или важно только последнее значение?
Какие типы запросов планируются?
Что даст NoSQL тут по-твоему? В чем затык с реляционной базой? Масштабирование? Репликация? Партиционирование?
Какой объем данных ожидается?

Предварительно можно посомтреть на Cassandra имхо

Ну по масштабированию однозначно NOSQL должна побеждать.


Это было что-то типа преинтервью в проект, поэтому я не знаю всех деталей. Но меня удивила сама постановка вопроса, что упор на то, что много записей и обновлений. Нужно выбрать хранилище заточенное на такие операции. Про запросы на выборку ничего не известно
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835654
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Когда в свое время заморачивался скоростью, меня SQL Lite вполне устроил.

По скорости на простых точечных (одна запись) select/insert'ах раз в 7-8 быстрее PostgreSQL, Основное ускорение (на моей задаче) - отсутсвия протокола TCP/IP между прикладным кодом и БД.

Т.ч. не уверен, что даже Non-SQL memory базы работающие через TCP/IP будут быстрее. TCP/IP (даже loopback) привносит слишком большие издержки.

IMHO & AFAIK
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835668
забыл ник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
redwhite90Это было что-то типа преинтервью в проект, поэтому я не знаю всех деталей. Но меня удивила сама постановка вопроса, что упор на то, что много записей и обновлений. Нужно выбрать хранилище заточенное на такие операции. Про запросы на выборку ничего не известно
Ну может от вас и требовалось пораасуждать, поздавать наводящие вопросы хз. Ибо формулировка - будет много инсертов и апдейтов лишь вычеркивает все заточенное под OLAP, но не сильно упрощает понимание. Тут надо крутиться от других требований
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835670
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
redwhite90поэтому я не знаю всех деталей.как узнаешь, приходи.
Сейчас твой вопрос равносилен: "нужно перевезти много груза. Что посоветуете"?
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835683
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
забыл ник...будет много инсертов и апдейтов лишь вычеркивает...
ну для меня скорее это вычеркивает PostgreSQL с его vacuum или, по крайне мере, заставляет задуматься и проверить пригодность PostgreSQL на тестах.
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835692
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я тоже заметил что PostgreSQL не игрок клуба TPC* тестов где тусят обычно IBM, Oracle, MS.

Наверное стыдится. Хотя JSONB это они здорово придумали.
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835695
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
redwhite90Sergunkaпропущено...


Вроде как Кассандра официальный чемпион по этому делу. Скажите объемы записей в секунду тогда боле-менее будет понятно куда двигатся.

А можно какой-то прув?
Никакой она не чемпион. Потому-что конкурса никакого не было. Это ... знаете-ли как чемпионство
среди Стебельков и ФВМясов. Кроме специфичного бенчмарка который написал сам автор никаких других
сравнений не было. Всё нишевое. Специфичное. Вы даже WHERE свободно не можете в кассандре написать.
Предикат не летает для всех полей by default. Просто такова архитектура. Ну а если реально нужно в одной
нише сравнивать. Возьмите сравнение Apache Ignite vs Apache Cassandra. Если таковое сущесствует канешна.

Ну и правила судейства. Что хотим. Скорость транзакций? Это одно. Реакция на падение ноды. И способность
кластера безболезненно ее пережить - это совсем-совсем другое. Вот и попробуйсте просто поставить грамотно
задачу тестирования.
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835705
redwhite90
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
забыл никredwhite90Это было что-то типа преинтервью в проект, поэтому я не знаю всех деталей. Но меня удивила сама постановка вопроса, что упор на то, что много записей и обновлений. Нужно выбрать хранилище заточенное на такие операции. Про запросы на выборку ничего не известно
Ну может от вас и требовалось пораасуждать, поздавать наводящие вопросы хз. Ибо формулировка - будет много инсертов и апдейтов лишь вычеркивает все заточенное под OLAP, но не сильно упрощает понимание. Тут надо крутиться от других требований

Я думаю, что так и есть. Вопрос собственно в том, чтобы эти ветки выделить и расписать когда что лучше.
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835707
redwhite90
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
PetroNotC Sharpredwhite90много данных.цифры то будут?

Как обычно в реальном мире клиент надеется, что бизнес будет расти, поэтому хочет заложить наиболее подходящий продукт под требования известные на данном этапе. Пока это должно быть что-то стандартное(не самописное).
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835710
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
redwhite90Как обычно в реальном мире клиент надеется, что бизнес будет растиНу дак напишите за него ТЗ и определите сколько миллиардов инсертов нужно.
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835734
redwhite90
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
PetroNotC Sharpredwhite90Как обычно в реальном мире клиент надеется, что бизнес будет растиНу дак напишите за него ТЗ и определите сколько миллиардов инсертов нужно.

Заказчик скажет, что напишите столько сколько держит лучшее изкоробочное стандартное решение. Да и западло ему по ТЗ работать. Он хочет, чтобы бизнес вырос, а не вот это вот всё....
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835742
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
redwhite90PetroNotC Sharpпропущено...
Ну дак напишите за него ТЗ и определите сколько миллиардов инсертов нужно.

Заказчик скажет, что напишите столько сколько держит лучшее изкоробочное стандартное решение. Да и западло ему по ТЗ работать. Он хочет, чтобы бизнес вырос, а не вот это вот всё....
елки. Счас третью страницу воду в ступе будем толочь.
Это как покупатель приходит в магазин и говорит: "Дайте самый лучший компьютер!".
...
Аффтар! Любая СУБД запишет 100000 записей в сек. Устраивает?
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835746
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonЯ тоже заметил что PostgreSQL не игрок клуба TPC* тестов где тусят обычно IBM, Oracle, MS.

Наверное стыдится. Хотя JSONB это они здорово придумали.
Еще бы для Джейсона дсл толковый придумали а не это барахло
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835749
redwhite90
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
maytonМожно отсюда посмотреть. https://db-engines.com/en/ranking

По сути эта линка - универсальный ответ. Дальше - нужны какие-то детали.
Хотя-бы стоимость лицензии. Будете платить? Или хочется бесплатного?

Я вижу только список по популярности. Вы его хотели показать?
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835756
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
redwhite90Я вижу только список по популярностиа твой вопрос уже стал неинтересен. Так бывает)
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835759
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
redwhite90maytonМожно отсюда посмотреть. https://db-engines.com/en/ranking

По сути эта линка - универсальный ответ. Дальше - нужны какие-то детали.
Хотя-бы стоимость лицензии. Будете платить? Или хочется бесплатного?

Я вижу только список по популярности. Вы его хотели показать?
Это прекрасное начало. Ведь до этого у нас не было никаких критериев. А теперь есть список.

Вот что там первое в категории NoSql? Redis.

Вот и выбор сделан.
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835815
Vladimir Baskakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
redwhite90maytonМожно отсюда посмотреть. https://db-engines.com/en/ranking

По сути эта линка - универсальный ответ. Дальше - нужны какие-то детали.
Хотя-бы стоимость лицензии. Будете платить? Или хочется бесплатного?

Я вижу только список по популярности. Вы его хотели показать?

Мобильные операторы используют реляционные базы данных. Всякий метрополитен в Москве где люди ходят по билетам. Они пишут много данных, или так себе? фигню какую то а не данные? Банки типа сбера с их карточными транзакциями, вполне работают на реляционых данных. У них много инсертов? ничего, кто на оракле, кто на чем. База же необязательно ровно одна и все. бывает и несколько. Фронт система, оперативная отчетность, архив.

То есть, вопрос и правда непонятен.

Если данные только вставляются, то это непонятно зачем. Кто и когда их потом читать будет.

Ну и. Суммарные бюджетные ограничения? Архитектура с верха до низа ....

Приборы? - 200. ЧТО - 200? а что - ПРИБОРЫ?
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835821
Vladimir Baskakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
а так..... ну посмотрите 10 типовых решений для отрасли, и найдите что они сделаны все на том же. И таки не мешают бузинессу развиваться.....
(с) еще никого не уволили за то, что он выбрал оракл - (где то в недрах форума)
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835828
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Можно начать с редиски. Потом если не хватит памяти - плавно переехать на LevelDb и ее братьев-клонов.
Тарантул еще очень хвалят. Вроде там специальные стуктуры данных отличные от B+Tree оптимизированные для inserts
да и еще и на диске.
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835839
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Vladimir BaskakovПриборы? - 200. ЧТО - 200? а что - ПРИБОРЫ?
+1
ТС не хочет за заказчика ТЗ составлять. Дык все составляют и не пищат.
Или не хочет за БА расписать предметку подробно?
Тогда получается пршел журналист брать интервью на тему: "Какие базы самые быстрые?"
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835847
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я-бы спросил бизнес про другое.

Как быстро будет расти БД? Успеем ли мы докупать оперативку.
Возможен вариант когда будет взрывной рост. И тогда мы обосрались с архитектурой in-memory
к примеру. Но она - привлекает своей простотой.

Еще вопрос. Какого рода отчоты бизнес захочет видеть? Если брать key-value то возможности
у нас невелики (привет Кассандре). А если брать даже самую слабую реляционку - то можно
строить и группировки и иерархические запросы без кодинга дурацких циклов на С++.
Всё решит двигатель DBMS.

Вобщем Редиска или SQLite.
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835864
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
По поводу оперативки. Мы живем в век стремительного удешевления носителей.
И наши подходы которые были в 20м веке возможно стоит пересмотреть. В противоположность
человеческий ресурс по прежнему дорог. Внимание или просто взгляд специалиста на тикет
с проблемой уже стоит денег. Может лучше просто прикупить железка?

Я возьму текущие цены на две планки памяти HyperX по 8 и 16 гигов соотв.
Не серверная. А обычная десктопная память по ценам магазинов.
И посчитаю удельную стоимость гига в долларах для удобства.

Model Memory Size (GB) Price $ per GBHyperX DDR4-2400 8 47.24 5.90HyperX DDR4-4300 16 107.10 6.60

Грубо говоря 6 долларов стоит 1 Гигабайт. При зарплате среднего синьор-помидор девелопера 3800 $
за 2 месяца от грубо говоря отработал 3800 / 6 = 633 Gb.

Вроде не ошибся? Поправьте если где чего.

Вобщем думайте. Стоит ли вкладывать в бездельнка который 2 месяца на онбординге и на испыталове будет
валять дурака вместо того чтобы просто купить железо. Ну и конешно остался пустяк. Проверить
что железка экстендилась на такой объём.

Это так. В виде старта дискурса.
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835906
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Есть еще latency. Все решения ходящие в другой процесс по TCP/IP, по данному критерию тут же будут проигрывать чему нибудь in site типа SQL Lite. IMHO & AFAIK

И никакое in memory не поможет. К тому же, открути от базы данных целостность, и любая БД тут же по скорости приблизится к in memory ))).

p.s. Выбирал в свое время между Level DB vs SQL Lite - по тестам примерно аналогичные скорости. Но Levei DB 3-и года назад показался жутко сырым и Java драйверы были только от каких-то наколеночно-гаражных студентов. Прогресс и стартапы оно конечно хорошо, но иногда хочется надежности и предсказуемости )))
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835929
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonЯ возьму текущие цены на две планки памяти HyperX по 8 и 16 гигов соотв.
Не серверная. А обычная десктопная память по ценам магазинов.
...
Вроде не ошибся? Поправьте если где чего.Ну и как вы собрались этой "обычной десктопной памятью" набрать хотя бы 256ГБ ОЗУ?
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835962
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Basil A. SidorovmaytonЯ возьму текущие цены на две планки памяти HyperX по 8 и 16 гигов соотв.
Не серверная. А обычная десктопная память по ценам магазинов.
...
Вроде не ошибся? Поправьте если где чего.Ну и как вы собрались этой "обычной десктопной памятью" набрать хотя бы 256ГБ ОЗУ?
+1

Хороший вопрос. Я пока только говорю про бюджетные игрушки. Не серверное железо.
Из игровых Asus ROG Rampage VI Extreme Omega (s2066, Intel X299, PCI-Ex16) поддерживает
до 128 Гб.

Тот же лимит под MSI MEG X570 Godlike (sAM4, AMD X570, PCI-Ex16).
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835969
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Года четыре назад, нужно было тестировать дисковую стойку. Админы под это дело выдали "валявшийся" 1-юнитовый сервер как раз с 256 Gb оперативки. Т.ч. оперативка нынче не проблема ))).

Другое дело, когда разрабатывал распределенную систему работающую на Амазоне, уткнулся в latency TCP/IP, даже locatlhost, не удаленный. И RMI (Remote Method Invocation) достаточно сильно тупил, и PostgreSQL нужной скорости не выдавала.
С RMI пришлось укрупнять вызовы, пропихивать на обработку в другой JVM сразу пачку заданий в 100 штук, значительно усложнился код, но в 100 раз возрасла скорость доставки данных. От PostgreSQL просто стал избавляться. В часте обработки, заменил PostgreSQL банально на сериализованные массивы просто в файлах на диске (сообтсвтственно БД заменилась на сильно "большой" атомарный /не стандартный!/ HashTable), в часте подготовки данных (где нужны были и insert'ы и select'ы) на SQL Lite.
Смотрел на Редисы, Memory DB, но:
1. Память хоть и не являлась "проблемой". Но деньги стоила. Т.ч. стоимость владения системой была бы выше (и так даже ценник за IP трафик от amazon'а уже начинал "кусаться", пару терабайт в месяц я один запросто "накачивал").
2. Никак не убирала проблемы огромной latency в TCP/IP. А при том, что ноды бы оказались еще и раскиданы в кластере, latency только бы выросло в разы. Плюс Ethernet трафик был бы крайне приличный.
Знаю одну реальную контору, админы жаловались, что узкое место в стойке - свитчи. Не справляются. Им даже пришлось шифрование трафика отключать, но не сильно помогло.
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835977
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid KudryavtsevОт PostgreSQL просто стал избавляться. В часте обработки, заменил PostgreSQL банально на сериализованные массивы просто в файлах на диске (сообтсвтственно БД заменилась на сильно "большой" атомарный /не стандартный!/ HashTable), в часте подготовки данных (где нужны были и insert'ы и select'ы) на SQL Lite.
Амазон в качестве key-value продает DynamoDB. Возможно стоило отказаться от Postgres и заменить его
на Динаму если HashTable был решением. По идее - должно работать.
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835989
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid KudryavtsevСмотрел на Редисы, Memory DB, но:
1. Память хоть и не являлась "проблемой". Но деньги стоила. Т.ч. стоимость владения системой была бы выше (и так даже ценник за IP трафик от amazon'а уже начинал "кусаться", пару терабайт в месяц я один запросто "накачивал").

Совершенно верно. Если вы покупаете EC2 instance то конфигурации которые вам продают скорее всего
будут линейно и пропорционально прокачивать количество CPU и память в совокупности. Тоесть купить
удобную для InMemoryDb конфигурацию будет либо невозможно либо слишком дорого.

Отдельно Амазон продает Редис под названием ElastiCache. Это обёртка под которой можно выбирать либо Redis
либо Memcached. Там можно заказать инстанс cache.r5.24xlarge с 600 Гигами.
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39835990
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Меня вообще latency TCP/IP в процессе работы перестало устраивать. Т.ч. все кластерные идеи пошли лесом. Даже там, где изначально сделал разделение JVM-машин через RMI, пришлось API "укрупнять". Мне нужно было несколько тысячь-десятков тысяч различных авиа-маршрутов просчитать и сравнить (при этом разно "тяжелых", отдельные маршруты до десятков-сотни миллионов вариантов пересадок давали)

Можно конечно было-бы супер-пупер кластеризованную систему из тысячь одновременно работающих потоков соорудить ))), каждый на своем компьютере и пофиг на latency ))) но я просто код соптимизировал и вполне нормально на 4 процессорной ноде в десяток потоков все считал )))

Если поток данных большой и плохо поддается "батчингу', то сеть вполне может стать непроходимым узким местом.

(напрмер мне перед каждым Insert'ом нужно было еще сверится с БД и проверить данные пришедшие до этого Insert'а, т.ч. массовая вставка шла лесом или сильно усложняла /и замедляла/ алгоритмы)
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39836001
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Мда. Тут синхронизм самой постановки все ограничил изначально. Результат пользователь всегда ожидает синхронно.
...
Рейтинг: 0 / 0
Какое хранилище выбрать если будет много insert/update
    #39836035
Vladimir Baskakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonЯ-бы спросил бизнес про другое.

Как быстро будет расти БД? Успеем ли мы докупать оперативку.
Возможен вариант когда будет взрывной рост. И тогда мы обосрались с архитектурой in-memory
к примеру. Но она - привлекает своей простотой.

Еще вопрос. Какого рода отчоты бизнес захочет видеть? Если брать key-value то возможности
у нас невелики (привет Кассандре). А если брать даже самую слабую реляционку - то можно
строить и группировки и иерархические запросы без кодинга дурацких циклов на С++.
Всё решит двигатель DBMS.

Вобщем Редиска или SQLite.

в прошлой большой конторе где работал, воткнулись в то что при масштабировании решения стала невмочной лицензия. поэтому срочно добавили в технологический стек Hadoop.... который масштабируется куда как дешевле. в качестве основы архивного хранения.

Но. Цена, это же не только лицензии и железо. Это еще и разработчики. Сколько людей надо согнать на период разработки и поддержки. Реляционщиков море. Особенно для общеизвестных БД. Бери не хочу.

То есть, вопрос выбора базы - это часть куда как более обширного, в котором надо учитывать весь жизненный цикл продукта и его экосистему.

А так вот прийти на форум и спросить - а подскажите хорошую базу. Да блин, они все хорошие, отличные и замечательные. А кому не нравятся кошки - пройдите мастер класс у шеф-повара.... не в порядке спора, а так. проходя мимо.
...
Рейтинг: 0 / 0
46 сообщений из 46, показаны все 2 страниц
Форумы / Java [игнор отключен] [закрыт для гостей] / Какое хранилище выбрать если будет много insert/update
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]