ReSQL.ru
     
powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / Что использовать при большом количестве read/write операциях
11 сообщений из 11, страница 1 из 1
Что использовать при большом количестве read/write операциях
    #39626150
denis111111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
denis111111
Гость
Добрый день

Нужно спроектировать такой процес на БД :

Есть таблица, в нее один процес пишет поочередно 400 хешей в минуту , а другой процес провиреят есть ли хеш в талице.
В среднем будеь 50% операций записи и 50% операций чтения. Количество записей\чтений может возростать

Которою технологию можете посоветовать?

Пока тестирую MySQL -> InnoDB таблицу

Может есть хорошие nosql решения?
Или какой-то тонкий тюнинг MySQL?
...
Рейтинг: 0 / 0
05.04.2018, 14:48
| Ответить | Цитировать | Написать  
Что использовать при большом количестве read/write операциях
    #39626157
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
denis111111Которою технологию можете посоветовать?

Memory Mapped File если требуется долговременное хранение этих хэшей. In-memory hash table
если не требуется.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
05.04.2018, 15:04
| Ответить | Цитировать | Написать  
Что использовать при большом количестве read/write операциях
    #39626171
Фотография hVostt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hVostt
Участник
denis111111,

Redis?
...
Рейтинг: 0 / 0
05.04.2018, 15:34
| Ответить | Цитировать | Написать  
Что использовать при большом количестве read/write операциях
    #39626242
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Дедушка
Участник
имхо, Redis самое оно
...
Рейтинг: 0 / 0
05.04.2018, 17:03
| Ответить | Цитировать | Написать  
Что использовать при большом количестве read/write операциях
    #39626301
experience
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
experience
Участник
https://yottadb.com/whats-new/yottadb-r1-20-released/
- A C API to call the database management engine directly. As C is the lingua franca of computer languages, this makes the engine accessible from other languages. In the future, we anticipate creating standard wrappers to the engine from other languages, and we invite members of the community to do so as well.
- An all-new manual, the Multi-Language Programmers Guide to access the C API.
...
Рейтинг: 0 / 0
05.04.2018, 17:58
| Ответить | Цитировать | Написать  
Что использовать при большом количестве read/write операциях
    #39627111
Бредятина
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бредятина
Участник
denis111111Добрый день

Нужно спроектировать такой процес на БД :

Есть таблица, в нее один процес пишет поочередно 400 хешей в минуту , а другой процес провиреят есть ли хеш в талице.
В среднем будеь 50% операций записи и 50% операций чтения. Количество записей\чтений может возростать

Которою технологию можете посоветовать?

Пока тестирую MySQL -> InnoDB таблицу

Может есть хорошие nosql решения?
Или какой-то тонкий тюнинг MySQL?
Для управления данными, в целом, и для такого рода задач, в частности, к сожалению, до сих пор существует только одна технология - mumps.
...
Рейтинг: 0 / 0
07.04.2018, 11:53
| Ответить | Цитировать | Написать  
Что использовать при большом количестве read/write операциях
    #39627123
tip78
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tip78
Участник
Dimitry Sibiryakovdenis111111Которою технологию можете посоветовать?

Memory Mapped File если требуется долговременное хранение этих хэшей. In-memory hash table
если не требуется.


почему просто не написать - redis )
...
Рейтинг: 0 / 0
07.04.2018, 13:45
| Ответить | Цитировать | Написать  
Что использовать при большом количестве read/write операциях
    #39627125
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
denis111111400 хешей в минутупри столь мизерных объемах можно использовать что угодно.
разве что тетрадки с карандашом окажется маловато.
...
Рейтинг: 0 / 0
07.04.2018, 13:49
| Ответить | Цитировать | Написать  
Что использовать при большом количестве read/write операциях
    #39627405
denis111111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
denis111111
Гость
miksoft,

Да это немного, но потом нагрузка может вырасти. По идее мне пока и InnoDB хватает.

Провел некоторые тесты без глубокого тюнинга Mysql/redis - чистая установка как есть.

100000 операций записи\чтения без батчей.

Mysql InnoDB - 285с
Mysqs Memory - 15с
Redis - 20с
...
Рейтинг: 0 / 0
09.04.2018, 10:34
| Ответить | Цитировать | Написать  
Что использовать при большом количестве read/write операциях
    #39627480
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Дедушка
Участник
denis111111Mysqs Memory - 15с
Redis - 20ссмысл сравнивать инмемори (отсутствие персистентности) с системами предоставляющими таковую?
вам всё равно, что ваши хэши будут потеряны в случае чего?
...
Рейтинг: 0 / 0
09.04.2018, 12:48
| Ответить | Цитировать | Написать  
Что использовать при большом количестве read/write операциях
    #39627646
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
denis111111тесты без глубокого тюнинга MysqlНапрасно.
Насчет самых последних версий не помню, а в предыдущих некоторые дефолтные настройки весьма сильно портили производительность.
denis111111без батчей.Почему же?
Если откуда-то извне прилетает миллион записей (вы же ориентируетесь на высокую производительность, не так ли?), то их быстрее всего вставлять именно батчем. В идеале даже без запихивания всех данных в SQL.
...
Рейтинг: 0 / 0
09.04.2018, 18:50
| Ответить | Цитировать | Написать  
11 сообщений из 11, страница 1 из 1
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / Что использовать при большом количестве read/write операциях
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=32&tid=1540054]:
 0ms
get settings:
 9ms
get forum list:
 13ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 152ms
get topic data:
 9ms
get forum data:
 5ms
get page messages:
 55ms
get tp. blocked users:
 2ms
others: 14ms
total:  265ms
созд. / загр.: 265ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]