|
Посоветуйте СУБД
|
|||
---|---|---|---|
#18+
Вообщем расклад такой - таблица, в ней следующие поля - INT(11) INT(20) VARCHAR(6) VARCHAR(15). В таблицу будет примерно 100-200 инсертов в секунду, и 5-10 селектов в секунду (селекты большие, до 10к строк). Нужна субд способная всё это переварить с минимальными затратами процессорного времени, и при этом иметь вменяемый размер бд . Записей в таблице будет несколько миллиардов . Пока что выбор пал на MongoDB, но уж очень прожорливый он что касается дискового пространства. Спасибо. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.04.2012, 00:22 |
|
Посоветуйте СУБД
|
|||
---|---|---|---|
#18+
Wol_fiПока что выбор пал на MongoDB, но уж очень прожорливый он что касается дискового пространства. Спасибо. Это не так. BSON достаточно компактный формат. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.04.2012, 00:28 |
|
Посоветуйте СУБД
|
|||
---|---|---|---|
#18+
Wol_fiВ таблицу будет примерно 100-200 инсертов в секунду, и 5-10 селектов в секунду (селекты большие, до 10к строк). Нагрузки мизерные, любая справится. Используйте ту, для которой у заказчика есть DBA. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
05.04.2012, 00:45 |
|
Посоветуйте СУБД
|
|||
---|---|---|---|
#18+
Какая-то прям мода на MongoDB. Коллективное помешательство. :) ... |
|||
:
Нравится:
Не нравится:
|
|||
05.04.2012, 01:17 |
|
Посоветуйте СУБД
|
|||
---|---|---|---|
#18+
Wol_fiНужна субд способная всё это переварить с минимальными затратами процессорного времени, и при этом иметь вменяемый размер бд Поскольку вас волнует только скорость вставки и размер БД, идеальный выбор для вас -- просто писать в файл. Наивысшая скорость и компактность. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.04.2012, 05:53 |
|
Посоветуйте СУБД
|
|||
---|---|---|---|
#18+
Евгений Мирошниченко aka mirПоскольку вас волнует только скорость вставки и размер БД, идеальный выбор для вас -- просто писать в файл. Наивысшая скорость и компактность. А самое главное асинхронность, попробуйте одновременно со 100 клиентов писать в файл, что получите? Или пардон, их в очередь ставить как на почте России?:) ... |
|||
:
Нравится:
Не нравится:
|
|||
05.04.2012, 06:40 |
|
Посоветуйте СУБД
|
|||
---|---|---|---|
#18+
Wol_fiЕвгений Мирошниченко aka mirПоскольку вас волнует только скорость вставки и размер БД, идеальный выбор для вас -- просто писать в файл. Наивысшая скорость и компактность. А самое главное асинхронность, попробуйте одновременно со 100 клиентов писать в файл, что получите? Или пардон, их в очередь ставить как на почте России?:)Есть стандартные приемы. Думаешь СУБД не в файл пишут, а параллелят запись с помощью святого духа? ))) ... |
|||
:
Нравится:
Не нравится:
|
|||
05.04.2012, 09:27 |
|
Посоветуйте СУБД
|
|||
---|---|---|---|
#18+
Wol_fiИли пардон, их в очередь ставить как на почте России?:) А хотя бы и ставить. На 200 записях в секунду это совершенно пофиг. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
05.04.2012, 12:28 |
|
Посоветуйте СУБД
|
|||
---|---|---|---|
#18+
Dimitry SibiryakovНа 200 записях в секунду это совершенно пофиг. А 10 фулсканов по 50ГБ каждый? ... |
|||
:
Нравится:
Не нравится:
|
|||
05.04.2012, 17:09 |
|
Посоветуйте СУБД
|
|||
---|---|---|---|
#18+
Сергей АрсеньевDimitry SibiryakovНа 200 записях в секунду это совершенно пофиг. А 10 фулсканов по 50ГБ каждый?вроде топикстартеру читать не нужно, только писать ... |
|||
:
Нравится:
Не нравится:
|
|||
05.04.2012, 18:11 |
|
Посоветуйте СУБД
|
|||
---|---|---|---|
#18+
> вроде топикстартеру читать не нужно, только писать Тогда пусть пишет в /dev/null и не парицо! Производительность будет огого! Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
05.04.2012, 18:13 |
|
Посоветуйте СУБД
|
|||
---|---|---|---|
#18+
SergSuperвроде топикстартеру читать не нужно, только писатьWol_fiВ таблицу будет примерно 100-200 инсертов в секунду, и 5-10 селектов в секунду (селекты большие, до 10к строк) . ... |
|||
:
Нравится:
Не нравится:
|
|||
05.04.2012, 18:15 |
|
Посоветуйте СУБД
|
|||
---|---|---|---|
#18+
SergSuperвроде топикстартеру читать не нужно, только писать Wol_fiи 5-10 селектов в секунду ... |
|||
:
Нравится:
Не нравится:
|
|||
05.04.2012, 18:15 |
|
Посоветуйте СУБД
|
|||
---|---|---|---|
#18+
Wol_fiЕвгений Мирошниченко aka mirПоскольку вас волнует только скорость вставки и размер БД, идеальный выбор для вас -- просто писать в файл. Наивысшая скорость и компактность. А самое главное асинхронность, попробуйте одновременно со 100 клиентов писать в файл, что получите? Или пардон, их в очередь ставить как на почте России?:) мультиплеерная игра без сокетов и p2p (общение через файл, расположенный на сетевом ресурсе) ... |
|||
:
Нравится:
Не нравится:
|
|||
05.04.2012, 18:24 |
|
Посоветуйте СУБД
|
|||
---|---|---|---|
#18+
Сергей АрсеньевА 10 фулсканов по 50ГБ каждый? Зачем "фул"? Мой телепатер говорит, что аффтару нужны исключительно выборки класса "Х последних записей". Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
05.04.2012, 18:43 |
|
Посоветуйте СУБД
|
|||
---|---|---|---|
#18+
SiemarglWol_fiпропущено... А самое главное асинхронность, попробуйте одновременно со 100 клиентов писать в файл, что получите? Или пардон, их в очередь ставить как на почте России?:)Есть стандартные приемы. Думаешь СУБД не в файл пишут, а параллелят запись с помощью святого духа? ))) Да вот только мне кажется, что у меня не получится решить вопрос очерёдности лучше чем у команды программистов любой СУБД. Dimitry Sibiryakov Зачем "фул"? Мой телепатер говорит, что аффтару нужны исключительно выборки класса "Х последних записей". Ваш телепатер барахлит, небось на aliexpress заказывали?:) По поводу выборок - селекты могут быть как и по последним записям, так и WHERE `x`<10 AND `y`='blablabla' AND z>100 Чтобы было понятней - имеется api веб-ресурса с нагрузкой примерно 100-200 запросов в секунду, нужно записывать каждый запрос (ip, время, id-пользователя, etc), ну и далее уже из этих записей работать некоторым службам. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.04.2012, 20:18 |
|
Посоветуйте СУБД
|
|||
---|---|---|---|
#18+
Wol_fi По поводу выборок - селекты могут быть как и по последним записям, так и WHERE `x`<10 AND `y`='blablabla' AND z>100 То бишь инициатор выборок человек (не робот) и доступа к записям последней секунды не требуется. Тогда самый простой путь: вебсервер кидает все запросы в журнал, который периодически оптом грузится в любую СУБД для анализа. Хотя вам лично я посоветую другой путь: возьмите любую экзотическую базу и подробно напишите грабли на которые наступили. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.04.2012, 20:41 |
|
Посоветуйте СУБД
|
|||
---|---|---|---|
#18+
SERG1257Wol_fi По поводу выборок - селекты могут быть как и по последним записям, так и WHERE `x`<10 AND `y`='blablabla' AND z>100 То бишь инициатор выборок человек (не робот) и доступа к записям последней секунды не требуется. Тогда самый простой путь: вебсервер кидает все запросы в журнал, который периодически оптом грузится в любую СУБД для анализа. Хотя вам лично я посоветую другой путь: возьмите любую экзотическую базу и подробно напишите грабли на которые наступили.Да, да. Поддерживаю ) ... |
|||
:
Нравится:
Не нравится:
|
|||
05.04.2012, 21:35 |
|
Посоветуйте СУБД
|
|||
---|---|---|---|
#18+
SERG1257Wol_fi По поводу выборок - селекты могут быть как и по последним записям, так и WHERE `x`<10 AND `y`='blablabla' AND z>100 То бишь инициатор выборок человек (не робот) и доступа к записям последней секунды не требуется. Тогда самый простой путь: вебсервер кидает все запросы в журнал, который периодически оптом грузится в любую СУБД для анализа. Хотя вам лично я посоветую другой путь: возьмите любую экзотическую базу и подробно напишите грабли на которые наступили. Тоже подумал сначала в эту сторону, но сервис коммерческий, a заказчик не очень щедрый на железные ресурсы:) Каждый запрос тянет финансовую транзакцию, которая тянет статистику и биллинг, то есть данные могут понадобится real-time до секунды (пользователя запросил выплату, или статистику), и при этом весь этот механизм должен тянуть сервер Intel® Core™ i7-2600 quad core с 6тб дискового пространства и 16гб оперативки. Бекенд сервиса крутится на PHP и мускуле. Возможности все переписать с нуля на чём-то, что шустрее php - нет, взялся за недоделанную предыдущими исполнителями работу. Так вот смысл в том, что бекендом сервер и так постоянно нагружен, нужно вклинить в него при этом статистику, чтобы не слёг от перегруза. Понимаю что по нормальному, нужно отделить мух от котлет - бизнес-логику на один сервер, бд на другой, статистику на третий - но увы сервер тут один. Поэтому собственно и интересуюсь, какая субд справится с поставленной задачей с минимальным затратами ресурсов. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.04.2012, 21:36 |
|
Посоветуйте СУБД
|
|||
---|---|---|---|
#18+
Wol_fi какая субд справится с поставленной задачейMySQL ибо оно уже стоит. ЛЮБАЯ другая субд это риск. Wol_fi данные могут понадобится real-time до секундыМогут или понадобятся решает заказчик и только он. Нормальный вменяемый пользователь поймет, если большими буквами будет написано что данные доступны только до последнего часа или минуты (минута уже достаточно хороший интервал буферизации) Wol_fi Тоже подумал сначала в эту сторону, но сервис коммерческий, a заказчик не очень щедрый на железные ресурсы:)В отличии от переделок софта, затраты на железо гораздо надежнее. Вероятность поймать проблемы после установки нового сервера (процессора, памяти, диска) конечно же есть, но она не сравнима с вероятностью огрести после установки патча или новой субд. И если заказчик на это не идет ТО ЗАКАЗЧИКА ДАННАЯ ПРОБЛЕМА НЕ ТРОГАЕТ. Признайтесь честно, вам захотелось потрогать этот MongoDB в условиях приближенных к боевым. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.04.2012, 22:15 |
|
Посоветуйте СУБД
|
|||
---|---|---|---|
#18+
SERG1257Wol_fi какая субд справится с поставленной задачейMySQL ибо оно уже стоит. ЛЮБАЯ другая субд это риск. Wol_fi данные могут понадобится real-time до секундыМогут или понадобятся решает заказчик и только он. Нормальный вменяемый пользователь поймет, если большими буквами будет написано что данные доступны только до последнего часа или минуты (минута уже достаточно хороший интервал буферизации) Wol_fi Тоже подумал сначала в эту сторону, но сервис коммерческий, a заказчик не очень щедрый на железные ресурсы:)В отличии от переделок софта, затраты на железо гораздо надежнее. Вероятность поймать проблемы после установки нового сервера (процессора, памяти, диска) конечно же есть, но она не сравнима с вероятностью огрести после установки патча или новой субд. И если заказчик на это не идет ТО ЗАКАЗЧИКА ДАННАЯ ПРОБЛЕМА НЕ ТРОГАЕТ. Признайтесь честно, вам захотелось потрогать этот MongoDB в условиях приближенных к боевым. Тонко:) Трогайте Код: php 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11.
Вы видимо работаете в параллельной вселенной. Так как в этой адекватный заказчик, понимающий все тонкости попадается редко. Это к сожалению не такой случай. А мускульные InnoDB и MyISAM очень частенько отказывают|ложатся при больших размерах, что в этом случае не очень хорошо. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.04.2012, 23:04 |
|
Посоветуйте СУБД
|
|||
---|---|---|---|
#18+
автор$connection = new Mongo(); $db = $connection->test; $time_start = microtime(); for($i=0;$i<=100000000;$i++) { $db->insert(array( 'a' => mt_rand(), 'b' => md5(chr(mt_rand(33,126))) )); } echo microtime() - $time_start; Интересно, что ЭТИМ пытались измерить... ... |
|||
:
Нравится:
Не нравится:
|
|||
05.04.2012, 23:22 |
|
Посоветуйте СУБД
|
|||
---|---|---|---|
#18+
Wol_fiЧтобы было понятней - имеется api веб-ресурса с нагрузкой примерно 100-200 запросов в секунду, нужно записывать каждый запрос (ip, время, id-пользователя, etc), ну и далее уже из этих записей работать некоторым службам. У меня дежавю, или это уже недавно где-то было? Еще один студент с курсачем? ... |
|||
:
Нравится:
Не нравится:
|
|||
05.04.2012, 23:31 |
|
Посоветуйте СУБД
|
|||
---|---|---|---|
#18+
Wol_fiдолжен тянуть сервер Intel® Core™ i7-2600 quad core... Чего, простите, Вы назвали сервером??? ... |
|||
:
Нравится:
Не нравится:
|
|||
05.04.2012, 23:46 |
|
|
start [/forum/topic.php?fid=35&fpage=11&tid=1552566]: |
0ms |
get settings: |
10ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
82ms |
get topic data: |
12ms |
get forum data: |
2ms |
get page messages: |
80ms |
get tp. blocked users: |
2ms |
others: | 252ms |
total: | 458ms |
0 / 0 |