ReSQL.ru
     
powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Java [игнор отключен] [закрыт для гостей] / Какое хранилище выбрать если будет много insert/update
25 сообщений из 46, страница 1 из 2
  1  все
Какое хранилище выбрать если будет много insert/update
    #39835581
redwhite90
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
redwhite90
Гость
Приходит много данных. В большинстве случаев это insert или update. Транзакции, ссылочная целостность не нужны, поэтому можно использовать NoSql решения. Что-то гугл мне не помогает найти какую-то полезную информацию по этому поводу.
При прочем равном выбор падёт на SQL решение.
...
Рейтинг: 0 / 0
09.07.2019, 17:22
| Ответить | Цитировать | Написать  
Какое хранилище выбрать если будет много insert/update
    #39835611
забыл ник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
забыл ник
Участник
Нужно ли трекать эти insert/update или важно только последнее значение?
Какие типы запросов планируются?
Что даст NoSQL тут по-твоему? В чем затык с реляционной базой? Масштабирование? Репликация? Партиционирование?
Какой объем данных ожидается?

Предварительно можно посомтреть на Cassandra имхо
...
Рейтинг: 0 / 0
09.07.2019, 17:51
| Ответить | Цитировать | Написать  
Какое хранилище выбрать если будет много insert/update
    #39835613
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Можно отсюда посмотреть. https://db-engines.com/en/ranking

По сути эта линка - универсальный ответ. Дальше - нужны какие-то детали.
Хотя-бы стоимость лицензии. Будете платить? Или хочется бесплатного?
...
Рейтинг: 0 / 0
09.07.2019, 17:52
| Ответить | Цитировать | Написать  
Какое хранилище выбрать если будет много insert/update
    #39835614
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
redwhite90,
Что за хранилище где не нужна целостность и т.д.?))))
Файл возьми. Писать очень быстро.
...
Рейтинг: 0 / 0
09.07.2019, 17:52
| Ответить | Цитировать | Написать  
Какое хранилище выбрать если будет много insert/update
    #39835615
забыл ник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
забыл ник
Участник
PetroNotC Sharp,
Тоже про файл подумал)
...
Рейтинг: 0 / 0
09.07.2019, 17:53
| Ответить | Цитировать | Написать  
Какое хранилище выбрать если будет много insert/update
    #39835617
Sergunka
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Sergunka
Участник
PetroNotC Sharpredwhite90,
Что за хранилище где не нужна целостность и т.д.?))))
Файл возьми. Писать очень быстро.

Практически любой временной ряд - просто запись температуры с датчика, там к примеру даже апдейт не нужен.
...
Рейтинг: 0 / 0
09.07.2019, 17:55
| Ответить | Цитировать | Написать  
Какое хранилище выбрать если будет много insert/update
    #39835618
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
Sergunka,
Ну стрим с кинофильмами тоже в файл пишут.
...
Рейтинг: 0 / 0
09.07.2019, 17:57
| Ответить | Цитировать | Написать  
Какое хранилище выбрать если будет много insert/update
    #39835622
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Это либо TimeSeries (экзотика) либо EventStore. Последнее работает успешно в банках. Написано кажется
на ДотНете и скорость пишуших транзакций у него отличная.

Насчет updates я не уверен. Надо смотреть архитектурно можно ли update рассматривать как еще один
корректирующий insert. Если архитектурно можно - то взлетит.
...
Рейтинг: 0 / 0
09.07.2019, 17:59
| Ответить | Цитировать | Написать  
Какое хранилище выбрать если будет много insert/update
    #39835623
Sergunka
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Sergunka
Участник
redwhite90Приходит много данных. В большинстве случаев это insert или update. Транзакции, ссылочная целостность не нужны, поэтому можно использовать NoSql решения. Что-то гугл мне не помогает найти какую-то полезную информацию по этому поводу.
При прочем равном выбор падёт на SQL решение.

Вроде как Кассандра официальный чемпион по этому делу. Скажите объемы записей в секунду тогда боле-менее будет понятно куда двигатся.
...
Рейтинг: 0 / 0
09.07.2019, 17:59
| Ответить | Цитировать | Написать  
Какое хранилище выбрать если будет много insert/update
    #39835625
Sergunka
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Sergunka
Участник
PetroNotC SharpSergunka,
Ну стрим с кинофильмами тоже в файл пишут.

Технически в фильме нет временных тегов и особой нужды выбирать по тегу. Во временном ряду это довольно рядовая операция практически любой МЛ алгоритм Anomaly detection на этом построен.
...
Рейтинг: 0 / 0
09.07.2019, 18:02
| Ответить | Цитировать | Написать  
Какое хранилище выбрать если будет много insert/update
    #39835628
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Ну. Кассандра она имеет лимиты по оперативке. И она больше для UPDATES чеме для INSERTS.
...
Рейтинг: 0 / 0
09.07.2019, 18:04
| Ответить | Цитировать | Написать  
Какое хранилище выбрать если будет много insert/update
    #39835630
Sergunka
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Sergunka
Участник
maytonНасчет updates я не уверен. Надо смотреть архитектурно можно ли update рассматривать как еще один
корректирующий insert. Если архитектурно можно - то взлетит.

Это в Кассандре реализованно как новая версия для записи. И если мой склероз не изменяет можно вытащить все версии для записи.
...
Рейтинг: 0 / 0
09.07.2019, 18:05
| Ответить | Цитировать | Написать  
Какое хранилище выбрать если будет много insert/update
    #39835637
redwhite90
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
redwhite90
Гость
Задача - что-то типа краулинга .SEMRUSH как я понял делает нечто похожее.

Вот тут некто пишет:

https://eax.me/avoid-nosql/ Наконец, Cassandra использует LSM-tree. Этот способ хранения данных подходит далеко не под все нагрузки. Если вы пишите и удаляете много данных (например, решили использовать Cassandra для хранения очередей), это будет работать очень и очень плохо.

Но у нас по идее удалений мало будет
...
Рейтинг: 0 / 0
09.07.2019, 18:28
| Ответить | Цитировать | Написать  
Какое хранилище выбрать если будет много insert/update
    #39835638
redwhite90
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
redwhite90
Гость
Sergunkaredwhite90Приходит много данных. В большинстве случаев это insert или update. Транзакции, ссылочная целостность не нужны, поэтому можно использовать NoSql решения. Что-то гугл мне не помогает найти какую-то полезную информацию по этому поводу.
При прочем равном выбор падёт на SQL решение.

Вроде как Кассандра официальный чемпион по этому делу. Скажите объемы записей в секунду тогда боле-менее будет понятно куда двигатся.

А можно какой-то прув?
...
Рейтинг: 0 / 0
09.07.2019, 18:30
| Ответить | Цитировать | Написать  
Какое хранилище выбрать если будет много insert/update
    #39835644
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
redwhite90много данных.цифры то будут?
...
Рейтинг: 0 / 0
09.07.2019, 18:43
| Ответить | Цитировать | Написать  
Какое хранилище выбрать если будет много insert/update
    #39835651
redwhite90
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
redwhite90
Гость
забыл никНужно ли трекать эти insert/update или важно только последнее значение?
Какие типы запросов планируются?
Что даст NoSQL тут по-твоему? В чем затык с реляционной базой? Масштабирование? Репликация? Партиционирование?
Какой объем данных ожидается?

Предварительно можно посомтреть на Cassandra имхо

Ну по масштабированию однозначно NOSQL должна побеждать.


Это было что-то типа преинтервью в проект, поэтому я не знаю всех деталей. Но меня удивила сама постановка вопроса, что упор на то, что много записей и обновлений. Нужно выбрать хранилище заточенное на такие операции. Про запросы на выборку ничего не известно
...
Рейтинг: 0 / 0
09.07.2019, 18:49
| Ответить | Цитировать | Написать  
Какое хранилище выбрать если будет много insert/update
    #39835654
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
Когда в свое время заморачивался скоростью, меня SQL Lite вполне устроил.

По скорости на простых точечных (одна запись) select/insert'ах раз в 7-8 быстрее PostgreSQL, Основное ускорение (на моей задаче) - отсутсвия протокола TCP/IP между прикладным кодом и БД.

Т.ч. не уверен, что даже Non-SQL memory базы работающие через TCP/IP будут быстрее. TCP/IP (даже loopback) привносит слишком большие издержки.

IMHO & AFAIK
...
Рейтинг: 0 / 0
09.07.2019, 18:51
| Ответить | Цитировать | Написать  
Какое хранилище выбрать если будет много insert/update
    #39835668
забыл ник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
забыл ник
Участник
redwhite90Это было что-то типа преинтервью в проект, поэтому я не знаю всех деталей. Но меня удивила сама постановка вопроса, что упор на то, что много записей и обновлений. Нужно выбрать хранилище заточенное на такие операции. Про запросы на выборку ничего не известно
Ну может от вас и требовалось пораасуждать, поздавать наводящие вопросы хз. Ибо формулировка - будет много инсертов и апдейтов лишь вычеркивает все заточенное под OLAP, но не сильно упрощает понимание. Тут надо крутиться от других требований
...
Рейтинг: 0 / 0
09.07.2019, 19:20
| Ответить | Цитировать | Написать  
Какое хранилище выбрать если будет много insert/update
    #39835670
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
redwhite90поэтому я не знаю всех деталей.как узнаешь, приходи.
Сейчас твой вопрос равносилен: "нужно перевезти много груза. Что посоветуете"?
...
Рейтинг: 0 / 0
09.07.2019, 19:23
| Ответить | Цитировать | Написать  
Какое хранилище выбрать если будет много insert/update
    #39835683
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
забыл ник...будет много инсертов и апдейтов лишь вычеркивает...
ну для меня скорее это вычеркивает PostgreSQL с его vacuum или, по крайне мере, заставляет задуматься и проверить пригодность PostgreSQL на тестах.
...
Рейтинг: 0 / 0
09.07.2019, 19:51
| Ответить | Цитировать | Написать  
Какое хранилище выбрать если будет много insert/update
    #39835692
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Я тоже заметил что PostgreSQL не игрок клуба TPC* тестов где тусят обычно IBM, Oracle, MS.

Наверное стыдится. Хотя JSONB это они здорово придумали.
...
Рейтинг: 0 / 0
09.07.2019, 20:27
| Ответить | Цитировать | Написать  
Какое хранилище выбрать если будет много insert/update
    #39835695
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
redwhite90Sergunkaпропущено...


Вроде как Кассандра официальный чемпион по этому делу. Скажите объемы записей в секунду тогда боле-менее будет понятно куда двигатся.

А можно какой-то прув?
Никакой она не чемпион. Потому-что конкурса никакого не было. Это ... знаете-ли как чемпионство
среди Стебельков и ФВМясов. Кроме специфичного бенчмарка который написал сам автор никаких других
сравнений не было. Всё нишевое. Специфичное. Вы даже WHERE свободно не можете в кассандре написать.
Предикат не летает для всех полей by default. Просто такова архитектура. Ну а если реально нужно в одной
нише сравнивать. Возьмите сравнение Apache Ignite vs Apache Cassandra. Если таковое сущесствует канешна.

Ну и правила судейства. Что хотим. Скорость транзакций? Это одно. Реакция на падение ноды. И способность
кластера безболезненно ее пережить - это совсем-совсем другое. Вот и попробуйсте просто поставить грамотно
задачу тестирования.
...
Рейтинг: 0 / 0
09.07.2019, 20:30
| Ответить | Цитировать | Написать  
Какое хранилище выбрать если будет много insert/update
    #39835705
redwhite90
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
redwhite90
Гость
забыл никredwhite90Это было что-то типа преинтервью в проект, поэтому я не знаю всех деталей. Но меня удивила сама постановка вопроса, что упор на то, что много записей и обновлений. Нужно выбрать хранилище заточенное на такие операции. Про запросы на выборку ничего не известно
Ну может от вас и требовалось пораасуждать, поздавать наводящие вопросы хз. Ибо формулировка - будет много инсертов и апдейтов лишь вычеркивает все заточенное под OLAP, но не сильно упрощает понимание. Тут надо крутиться от других требований

Я думаю, что так и есть. Вопрос собственно в том, чтобы эти ветки выделить и расписать когда что лучше.
...
Рейтинг: 0 / 0
09.07.2019, 21:24
| Ответить | Цитировать | Написать  
Какое хранилище выбрать если будет много insert/update
    #39835707
redwhite90
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
redwhite90
Гость
PetroNotC Sharpredwhite90много данных.цифры то будут?

Как обычно в реальном мире клиент надеется, что бизнес будет расти, поэтому хочет заложить наиболее подходящий продукт под требования известные на данном этапе. Пока это должно быть что-то стандартное(не самописное).
...
Рейтинг: 0 / 0
09.07.2019, 21:33
| Ответить | Цитировать | Написать  
Какое хранилище выбрать если будет много insert/update
    #39835710
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
redwhite90Как обычно в реальном мире клиент надеется, что бизнес будет растиНу дак напишите за него ТЗ и определите сколько миллиардов инсертов нужно.
...
Рейтинг: 0 / 0
09.07.2019, 21:56
| Ответить | Цитировать | Написать  
25 сообщений из 46, страница 1 из 2
  1  все
Форумы / Java [игнор отключен] [закрыт для гостей] / Какое хранилище выбрать если будет много insert/update
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=59&msg=39835630&tid=2121204]:
 0ms
get settings:
 10ms
get forum list:
 14ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 45ms
get topic data:
 8ms
get forum data:
 2ms
get page messages:
 58ms
get tp. blocked users:
 1ms
others: 13ms
total:  159ms
созд. / загр.: 159ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]