|
|
|
Key-Value. Тестирование производительности.
|
|||
|---|---|---|---|
|
#18+
Хотелось бы видеть сравнительное быстродействие на чтение ModgoDB, Riak и Redis как Key-Value хранилища. Есть такое? Или можете предложить методику тестирования если ничего готового нет? photoua.narod.ru ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.12.2013, 15:55 |
|
||
|
Key-Value. Тестирование производительности.
|
|||
|---|---|---|---|
|
#18+
BlackEric, довольно бессмысленная задача, разве что указать конкретные условия и задачи, для которых проходит тестирование. Уж больно архитектура у всех разная. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2013, 01:51 |
|
||
|
Key-Value. Тестирование производительности.
|
|||
|---|---|---|---|
|
#18+
DPH3, Я хочу по ключу быстро забирать блоб с данными, текст, изображение или другой бинарник с данными. От нескольких байт до мегабайт. Интересна максимальная скорость на чтение. Я понимаю, что тут многое будет зависеть от клиентских библиотек через которые с бд будет общаться приложение. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2013, 18:39 |
|
||
|
Key-Value. Тестирование производительности.
|
|||
|---|---|---|---|
|
#18+
BlackEricDPH3, Я хочу по ключу быстро забирать блоб с данными, текст, изображение или другой бинарник с данными. От нескольких байт до мегабайт. Интересна максимальная скорость на чтение. Я понимаю, что тут многое будет зависеть от клиентских библиотек через которые с бд будет общаться приложение.Не совсем про базу из списка, но вот год назад было такое сообщение про Oracle NoSQL DB https://blogs.oracle.com/charlesLamb/entry/oracle_nosql_database_performance_tests Может быть поможет. Правда, с тех пор уже один или два новых релиза вышли. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.12.2013, 11:48 |
|
||
|
Key-Value. Тестирование производительности.
|
|||
|---|---|---|---|
|
#18+
BlackEricDPH3, Я хочу по ключу быстро забирать блоб с данными, текст, изображение или другой бинарник с данными. От нескольких байт до мегабайт. Интересна максимальная скорость на чтение. Я понимаю, что тут многое будет зависеть от клиентских библиотек через которые с бд будет общаться приложение. Сколько данных? Данные в оперативной памяти одного компьютера, в оперативной памяти кластера, на диске отдельной машины, на диске кластера? Данные никогда не меняются или меняются? Нужен ли кластер? Какие требования к надежности? Нужен ли backup или достаточно иметь много копий внутри одного ДЦ в оперативной памяти или надежность вообще не важна? Поиск по точному значению ключа или возможны какие-то варианты? Данные всегда нужны по равномерно-случайному ключу или иногда нужны пачками? Что потом делать с данными (отдавать через сеть, десериализовывать в какие-то объекты, писать в /dev/null)? Ну и еще куча подобных вопросов, без которых ответ на вопрос "быстро забирать блоб с данными" смысла не имеет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.12.2013, 04:00 |
|
||
|
Key-Value. Тестирование производительности.
|
|||
|---|---|---|---|
|
#18+
DPH3Сколько данных? Данные в оперативной памяти одного компьютера, в оперативной памяти кластера, на диске отдельной машины, на диске кластера? Данные никогда не меняются или меняются? Нужен ли кластер? Какие требования к надежности? Нужен ли backup или достаточно иметь много копий внутри одного ДЦ в оперативной памяти или надежность вообще не важна? Поиск по точному значению ключа или возможны какие-то варианты? Данные всегда нужны по равномерно-случайному ключу или иногда нужны пачками? Что потом делать с данными (отдавать через сеть, десериализовывать в какие-то объекты, писать в /dev/null)? Ну и еще куча подобных вопросов, без которых ответ на вопрос "быстро забирать блоб с данными" смысла не имеет. Для начала - данные на диске одной машины. 4-5 Гиг будет в процессе работы. Данные меняться будут изредка, возможно ночью отдельным заданием, с чтение пересекаться будут редко. Меняться данные будут редко. Кластер пока не нужен, а там как пойдет, но это не раньше чем через год-два. Бэкап разумеется нужен. Ночной раз в сутки для начала устроит. Поиск по точному значению ключа. Фактически это id. C равномерностью сложнее, скорее всего будет группа запросов из связанных данных одного объекта, потом после обработки этих данных будем переключаться на другой объект. Хотя в многопользовательском режиме возможно это будет выглядеть как равномерно-случайный ключ со стороны бд. Данные от будут отдаваться по сети на клиента. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.12.2013, 14:43 |
|
||
|
Key-Value. Тестирование производительности.
|
|||
|---|---|---|---|
|
#18+
BlackEric, Ага, а на каком языке идет разработка? И "потребителей" данных - один или несколько? И какие, все-таки, требования к скорости отдачи? Главное latency или пропускная способность? Потребители - в том же ДЦ или удаленные? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.12.2013, 17:27 |
|
||
|
Key-Value. Тестирование производительности.
|
|||
|---|---|---|---|
|
#18+
DPH3, Язык - хз. Думаем, как и про СУБД. Режим многопользовательский. Датацентра не будет. Будет локалка, пока. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.12.2013, 17:41 |
|
||
|
Key-Value. Тестирование производительности.
|
|||
|---|---|---|---|
|
#18+
BlackEricDPH3, Язык - хз. Думаем, как и про СУБД. Режим многопользовательский. Датацентра не будет. Будет локалка, пока. Если брать приличный язык (Java, C#), то самым эффективным будет вообще не использовать никакой СУБД. Просто хранить нужные объекты в больной hashmap в памяти приложения. Так как изменений "онлайн" практически нет, то задачи блокировки не возникают, все thread-safe. Persistance реализовывать или через банальную сериализацию на диск (опять-таки, в Java/С# дофига соответствующих решений) или через любую СУБД (и хранить блобы). Ну а 4-5 гигов при текущей стоимости оперативки - не деньги ) Производительность - максимальная, все данные уже в удобном виде и даже в том же процессе. Никаких сетевых задержек ) Если же "обработчиков" данных много, то основные задержки будут, подозреваю, при сериализации/десериализации и стоит оптимизировать именно этот кусок. Так-то взять данные из памяти и отдать по сети - не долго ) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.12.2013, 19:19 |
|
||
|
Key-Value. Тестирование производительности.
|
|||
|---|---|---|---|
|
#18+
BlackEric, Может если распределенность не требуется, то вообще взять BerkeleyDB? http://ru.wikipedia.org/wiki/Berkeley_DB ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.01.2014, 17:01 |
|
||
|
Key-Value. Тестирование производительности.
|
|||
|---|---|---|---|
|
#18+
Доброго дня! в контексте NoSQL есть еще одни результаты тестирования, как раз с BLOB: http://oracle-nosql.blogspot.com/2014/01/26.html ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2014, 01:21 |
|
||
|
Key-Value. Тестирование производительности.
|
|||
|---|---|---|---|
|
#18+
Методика и результаты тестирования пропускной способности key-value здесь: http://voltdb.com/voltdb-3-x-performance-characteristics/ Код для тестов здесь: https://github.com/VoltDB/voltdb-kv-benchmark ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2014, 22:45 |
|
||
|
|
start [/forum/topic.php?fid=48&gotonew=1&tid=1856909]: |
0ms |
get settings: |
19ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
58ms |
get topic data: |
11ms |
get first new msg: |
197ms |
get forum data: |
3ms |
get page messages: |
226ms |
get tp. blocked users: |
1ms |
| others: | 353ms |
| total: | 890ms |
| 0 / 0 |
