|
Действия ...
|
21.12.2013, 11:48
|
|||
|---|---|---|---|
|
|||
Key-Value. Тестирование производительности. |
|||
|
|
|
09.01.2014, 17:01
|
|||
|---|---|---|---|
|
|||
Key-Value. Тестирование производительности. |
|||
|
|
Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
|
19.12.2013, 15:55
|
|||
|---|---|---|---|
Key-Value. Тестирование производительности. |
|||
|
#18+
Хотелось бы видеть сравнительное быстродействие на чтение ModgoDB, Riak и Redis как Key-Value хранилища. Есть такое? Или можете предложить методику тестирования если ничего готового нет? photoua.narod.ru ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
20.12.2013, 01:51
|
|||
|---|---|---|---|
Key-Value. Тестирование производительности. |
|||
|
#18+
BlackEric, довольно бессмысленная задача, разве что указать конкретные условия и задачи, для которых проходит тестирование. Уж больно архитектура у всех разная. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
20.12.2013, 18:39
|
|||
|---|---|---|---|
Key-Value. Тестирование производительности. |
|||
|
#18+
DPH3, Я хочу по ключу быстро забирать блоб с данными, текст, изображение или другой бинарник с данными. От нескольких байт до мегабайт. Интересна максимальная скорость на чтение. Я понимаю, что тут многое будет зависеть от клиентских библиотек через которые с бд будет общаться приложение. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
21.12.2013, 11:48
|
|||
|---|---|---|---|
Key-Value. Тестирование производительности. |
|||
|
#18+
BlackEricDPH3, Я хочу по ключу быстро забирать блоб с данными, текст, изображение или другой бинарник с данными. От нескольких байт до мегабайт. Интересна максимальная скорость на чтение. Я понимаю, что тут многое будет зависеть от клиентских библиотек через которые с бд будет общаться приложение.Не совсем про базу из списка, но вот год назад было такое сообщение про Oracle NoSQL DB https://blogs.oracle.com/charlesLamb/entry/oracle_nosql_database_performance_tests Может быть поможет. Правда, с тех пор уже один или два новых релиза вышли. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
23.12.2013, 04:00
|
|||
|---|---|---|---|
Key-Value. Тестирование производительности. |
|||
|
#18+
BlackEricDPH3, Я хочу по ключу быстро забирать блоб с данными, текст, изображение или другой бинарник с данными. От нескольких байт до мегабайт. Интересна максимальная скорость на чтение. Я понимаю, что тут многое будет зависеть от клиентских библиотек через которые с бд будет общаться приложение. Сколько данных? Данные в оперативной памяти одного компьютера, в оперативной памяти кластера, на диске отдельной машины, на диске кластера? Данные никогда не меняются или меняются? Нужен ли кластер? Какие требования к надежности? Нужен ли backup или достаточно иметь много копий внутри одного ДЦ в оперативной памяти или надежность вообще не важна? Поиск по точному значению ключа или возможны какие-то варианты? Данные всегда нужны по равномерно-случайному ключу или иногда нужны пачками? Что потом делать с данными (отдавать через сеть, десериализовывать в какие-то объекты, писать в /dev/null)? Ну и еще куча подобных вопросов, без которых ответ на вопрос "быстро забирать блоб с данными" смысла не имеет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
23.12.2013, 14:43
|
|||
|---|---|---|---|
Key-Value. Тестирование производительности. |
|||
|
#18+
DPH3Сколько данных? Данные в оперативной памяти одного компьютера, в оперативной памяти кластера, на диске отдельной машины, на диске кластера? Данные никогда не меняются или меняются? Нужен ли кластер? Какие требования к надежности? Нужен ли backup или достаточно иметь много копий внутри одного ДЦ в оперативной памяти или надежность вообще не важна? Поиск по точному значению ключа или возможны какие-то варианты? Данные всегда нужны по равномерно-случайному ключу или иногда нужны пачками? Что потом делать с данными (отдавать через сеть, десериализовывать в какие-то объекты, писать в /dev/null)? Ну и еще куча подобных вопросов, без которых ответ на вопрос "быстро забирать блоб с данными" смысла не имеет. Для начала - данные на диске одной машины. 4-5 Гиг будет в процессе работы. Данные меняться будут изредка, возможно ночью отдельным заданием, с чтение пересекаться будут редко. Меняться данные будут редко. Кластер пока не нужен, а там как пойдет, но это не раньше чем через год-два. Бэкап разумеется нужен. Ночной раз в сутки для начала устроит. Поиск по точному значению ключа. Фактически это id. C равномерностью сложнее, скорее всего будет группа запросов из связанных данных одного объекта, потом после обработки этих данных будем переключаться на другой объект. Хотя в многопользовательском режиме возможно это будет выглядеть как равномерно-случайный ключ со стороны бд. Данные от будут отдаваться по сети на клиента. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
23.12.2013, 17:27
|
|||
|---|---|---|---|
Key-Value. Тестирование производительности. |
|||
|
#18+
BlackEric, Ага, а на каком языке идет разработка? И "потребителей" данных - один или несколько? И какие, все-таки, требования к скорости отдачи? Главное latency или пропускная способность? Потребители - в том же ДЦ или удаленные? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
23.12.2013, 17:41
|
|||
|---|---|---|---|
Key-Value. Тестирование производительности. |
|||
|
#18+
DPH3, Язык - хз. Думаем, как и про СУБД. Режим многопользовательский. Датацентра не будет. Будет локалка, пока. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
23.12.2013, 19:19
|
|||
|---|---|---|---|
Key-Value. Тестирование производительности. |
|||
|
#18+
BlackEricDPH3, Язык - хз. Думаем, как и про СУБД. Режим многопользовательский. Датацентра не будет. Будет локалка, пока. Если брать приличный язык (Java, C#), то самым эффективным будет вообще не использовать никакой СУБД. Просто хранить нужные объекты в больной hashmap в памяти приложения. Так как изменений "онлайн" практически нет, то задачи блокировки не возникают, все thread-safe. Persistance реализовывать или через банальную сериализацию на диск (опять-таки, в Java/С# дофига соответствующих решений) или через любую СУБД (и хранить блобы). Ну а 4-5 гигов при текущей стоимости оперативки - не деньги ) Производительность - максимальная, все данные уже в удобном виде и даже в том же процессе. Никаких сетевых задержек ) Если же "обработчиков" данных много, то основные задержки будут, подозреваю, при сериализации/десериализации и стоит оптимизировать именно этот кусок. Так-то взять данные из памяти и отдать по сети - не долго ) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
09.01.2014, 17:01
|
|||
|---|---|---|---|
Key-Value. Тестирование производительности. |
|||
|
#18+
BlackEric, Может если распределенность не требуется, то вообще взять BerkeleyDB? http://ru.wikipedia.org/wiki/Berkeley_DB ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
10.01.2014, 01:21
|
|||
|---|---|---|---|
|
|||
Key-Value. Тестирование производительности. |
|||
|
#18+
Доброго дня! в контексте NoSQL есть еще одни результаты тестирования, как раз с BLOB: http://oracle-nosql.blogspot.com/2014/01/26.html ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
16.01.2014, 22:45
|
|||
|---|---|---|---|
Key-Value. Тестирование производительности. |
|||
|
#18+
Методика и результаты тестирования пропускной способности key-value здесь: http://voltdb.com/voltdb-3-x-performance-characteristics/ Код для тестов здесь: https://github.com/VoltDB/voltdb-kv-benchmark ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
start [/forum/topic.php?fid=48&tablet=1&tid=1856909]: |
0ms |
get settings: |
17ms |
get forum list: |
7ms |
check forum access: |
1ms |
check topic access: |
1ms |
track hit: |
73ms |
get topic data: |
7ms |
get forum data: |
1ms |
get page messages: |
246ms |
get tp. blocked users: |
1ms |
| others: | 334ms |
| total: | 688ms |
| 0 / 0 |
