Гость
Войти | Профиль | Очистить
Действия ...
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / Что использовать при большом количестве read/write операциях / 11 сообщений из 11, страница 1 из 1
05.04.2018, 14:48
    #39626150
denis111111
denis111111
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что использовать при большом количестве read/write операциях
Добрый день

Нужно спроектировать такой процес на БД :

Есть таблица, в нее один процес пишет поочередно 400 хешей в минуту , а другой процес провиреят есть ли хеш в талице.
В среднем будеь 50% операций записи и 50% операций чтения. Количество записей\чтений может возростать

Которою технологию можете посоветовать?

Пока тестирую MySQL -> InnoDB таблицу

Может есть хорошие nosql решения?
Или какой-то тонкий тюнинг MySQL?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
05.04.2018, 15:04
    #39626157
Dimitry Sibiryakov
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что использовать при большом количестве read/write операциях
denis111111Которою технологию можете посоветовать?

Memory Mapped File если требуется долговременное хранение этих хэшей. In-memory hash table
если не требуется.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
05.04.2018, 15:34
    #39626171
hVostt
hVostt
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что использовать при большом количестве read/write операциях
denis111111,

Redis?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
05.04.2018, 17:03
    #39626242
Дедушка
Дедушка
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что использовать при большом количестве read/write операциях
имхо, Redis самое оно
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
05.04.2018, 17:58
    #39626301
experience
experience
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что использовать при большом количестве read/write операциях
https://yottadb.com/whats-new/yottadb-r1-20-released/
- A C API to call the database management engine directly. As C is the lingua franca of computer languages, this makes the engine accessible from other languages. In the future, we anticipate creating standard wrappers to the engine from other languages, and we invite members of the community to do so as well.
- An all-new manual, the Multi-Language Programmers Guide to access the C API.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
07.04.2018, 11:53
    #39627111
Бредятина
Бредятина
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что использовать при большом количестве read/write операциях
denis111111Добрый день

Нужно спроектировать такой процес на БД :

Есть таблица, в нее один процес пишет поочередно 400 хешей в минуту , а другой процес провиреят есть ли хеш в талице.
В среднем будеь 50% операций записи и 50% операций чтения. Количество записей\чтений может возростать

Которою технологию можете посоветовать?

Пока тестирую MySQL -> InnoDB таблицу

Может есть хорошие nosql решения?
Или какой-то тонкий тюнинг MySQL?
Для управления данными, в целом, и для такого рода задач, в частности, к сожалению, до сих пор существует только одна технология - mumps.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
07.04.2018, 13:45
    #39627123
tip78
tip78
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что использовать при большом количестве read/write операциях
Dimitry Sibiryakovdenis111111Которою технологию можете посоветовать?

Memory Mapped File если требуется долговременное хранение этих хэшей. In-memory hash table
если не требуется.


почему просто не написать - redis )
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
07.04.2018, 13:49
    #39627125
miksoft
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что использовать при большом количестве read/write операциях
denis111111400 хешей в минутупри столь мизерных объемах можно использовать что угодно.
разве что тетрадки с карандашом окажется маловато.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
09.04.2018, 10:34
    #39627405
denis111111
denis111111
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что использовать при большом количестве read/write операциях
miksoft,

Да это немного, но потом нагрузка может вырасти. По идее мне пока и InnoDB хватает.

Провел некоторые тесты без глубокого тюнинга Mysql/redis - чистая установка как есть.

100000 операций записи\чтения без батчей.

Mysql InnoDB - 285с
Mysqs Memory - 15с
Redis - 20с
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
09.04.2018, 12:48
    #39627480
Дедушка
Дедушка
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что использовать при большом количестве read/write операциях
denis111111Mysqs Memory - 15с
Redis - 20ссмысл сравнивать инмемори (отсутствие персистентности) с системами предоставляющими таковую?
вам всё равно, что ваши хэши будут потеряны в случае чего?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
09.04.2018, 18:50
    #39627646
miksoft
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что использовать при большом количестве read/write операциях
denis111111тесты без глубокого тюнинга MysqlНапрасно.
Насчет самых последних версий не помню, а в предыдущих некоторые дефолтные настройки весьма сильно портили производительность.
denis111111без батчей.Почему же?
Если откуда-то извне прилетает миллион записей (вы же ориентируетесь на высокую производительность, не так ли?), то их быстрее всего вставлять именно батчем. В идеале даже без запихивания всех данных в SQL.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / Что использовать при большом количестве read/write операциях / 11 сообщений из 11, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
созд. / загр.: 511ms
Закрыть
start [/forum/topic.php?fid=32&tablet=1&tid=1540054]:
 0ms
get settings:
 11ms
get forum list:
 17ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 164ms
get topic data:
 14ms
get forum data:
 3ms
get page messages:
 54ms
get tp. blocked users:
 2ms
others: 238ms
total:  511ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]