|
|
|
Организация хранилиша данных на MySQL
|
|||
|---|---|---|---|
|
#18+
Добрый день. Задача: Организация хранилиша данных (time-series). Данные поступают от внешних регистраторов по ODBC. Порядка 1000 входов (большая часть одновременно) с интенсивностью от 1запись/сек. до ~10зап./сек. Особенность в наличии запросов на выборку последнего по времени (физическому) состояния таким образом всякие "отложенные записи" не подходят... Справится ли с этим связка Mysql+InnoDB... С уважением. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.05.2005, 16:11 |
|
||
|
Организация хранилиша данных на MySQL
|
|||
|---|---|---|---|
|
#18+
железо то какое? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.05.2005, 16:15 |
|
||
|
Организация хранилиша данных на MySQL
|
|||
|---|---|---|---|
|
#18+
Хренжелезо то какое? Обычный сервак. Про гигабайты оперативки писать не нужно...см. первый пост про то, что "отложенные записи" не подходят. Необходимо "всё сразу и в живую". С уважением. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.05.2005, 16:33 |
|
||
|
Организация хранилиша данных на MySQL
|
|||
|---|---|---|---|
|
#18+
если не нужны отложенные записи возможно будет достаточно MyIsam памяти должно быть п полтора раза больше чем размер индексов рабочей таблицы. если памяти не хватает таблицу придется резать по дням-часам-минутам. скорость еще сильно зависит от процессора и жестких дисков, так что конфу в студию! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.05.2005, 12:18 |
|
||
|
Организация хранилиша данных на MySQL
|
|||
|---|---|---|---|
|
#18+
igorsiaпамяти должно быть п полтора раза больше чем размер индексов рабочей таблицы. Странное требование. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.05.2005, 15:28 |
|
||
|
Организация хранилиша данных на MySQL
|
|||
|---|---|---|---|
|
#18+
Дедушка Хренжелезо то какое? Обычный сервак. Про гигабайты оперативки писать не нужно...см. первый пост про то, что "отложенные записи" не подходят. С уважением. Отложенные записи тут ни причем. из того что вы написали самая критичная часть - " Порядка 1000 входов (большая часть одновременно) ". Каждое соединение - это отдельный thread. Для него выделается jcm. определенная память под стек треда (около 2М на стандартном glibc или около 256К на бинарниках, собранный в mysql статически) + некоторые буферы, которые выделяются на каждое соединение. Посчитайте - 2М на 1000 соединений получается 2 гига (только на сами соединения) не считая буферов на индексы и query cache. Так что малой кровью тут не обойдетесь. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.05.2005, 15:35 |
|
||
|
Организация хранилиша данных на MySQL
|
|||
|---|---|---|---|
|
#18+
Хрен igorsiaпамяти должно быть п полтора раза больше чем размер индексов рабочей таблицы. Странное требование. исходя из опыта работы на больших таблицах при частых записях в базу данных ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.05.2005, 16:04 |
|
||
|
Организация хранилиша данных на MySQL
|
|||
|---|---|---|---|
|
#18+
igorsia исходя из опыта работы на больших таблицах при частых записях в базу данных Куда то вас опыт завел... (смотрит на 15Г базу перед собой на сервере с 2Г RAM). Все нормально работает и выши требования явно избыточны. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.05.2005, 16:58 |
|
||
|
Организация хранилиша данных на MySQL
|
|||
|---|---|---|---|
|
#18+
просто у меня в базу в неделю больше падает... вот и опыт... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.05.2005, 18:11 |
|
||
|
Организация хранилиша данных на MySQL
|
|||
|---|---|---|---|
|
#18+
... а если разместить всю базу на виртуальном диске в памяти, то будет еще быстрее. .. А если на 64 процессорный сервак, то вообще хорошо.. Только говорить, что _всем_ надо память в полтора раза больше индексов - это (извините за резкость) профанация. Это выглядит как если бы врач _всем_ больным прописывал УВЧ. Кому-то поможет. Зависит и от запросов и от _количества_ индексов, и от типа и настроек engine и вообще от тучи вещей. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.05.2005, 18:59 |
|
||
|
|

start [/forum/topic.php?fid=47&fpage=657&tid=1854018]: |
0ms |
get settings: |
8ms |
get forum list: |
21ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
65ms |
get topic data: |
13ms |
get forum data: |
3ms |
get page messages: |
61ms |
get tp. blocked users: |
2ms |
| others: | 217ms |
| total: | 398ms |

| 0 / 0 |
