|
|
|
Что выбрать в моем случае: MyISAM или InnoDB?
|
|||
|---|---|---|---|
|
#18+
Требования такие: 1. С базой всегда работает только 1 пользователь, а база исследовательская и мелкие ошибки вполне допускаются (поэтому транзакции не нужны). 2. Основная таблица очень большая ~300 млн записей и очень тяжелая ~8 ГБайт + 10 таблиц общим весом ~30 ГБайт (причем нигде нет двоичных данных и текста, только числа, строки и даты). Размеры указаны без учета индексов. 3. Нужна максимальная скорость чтения данных (данные для записи будут получаться из инета, и в этом действии узким местом будет инет). При таких объемах встает вопрос о необходимости сжатия данных, так как ни один жесткий диск не сможет оперативно прочитать такие объемы информации. Основную таблицу делить не имеет смысла (там разные часто используемые характеристики объекта, которые нужны в связке), а 10 дополнительных таблиц представляеют из себя всего две колонки- id объекта и доп. характеристика (так я вынес в другие таблицы тяжелые редкоиспользуемые характеристики). Так что думаю смотреть в сторону поколоночного хранения данных не имеет смысла. Что посоветуете? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.09.2018, 08:40 |
|
||
|
Что выбрать в моем случае: MyISAM или InnoDB?
|
|||
|---|---|---|---|
|
#18+
AlekseySQLЧто посоветуете?Проанализировать условия отбора и рассмотреть возможность партиционирования основной таблицы, если удастся получить хорошее попадание условиями отбора в партицию. AlekseySQLНужна максимальная скорость чтения данных (данные для записи будут получаться из инета, и в этом действии узким местом будет инет).Вот в этом месте полное непонимание. Если узкое место - передача данных, то не пофиг на скорость чтения? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.09.2018, 09:27 |
|
||
|
Что выбрать в моем случае: MyISAM или InnoDB?
|
|||
|---|---|---|---|
|
#18+
AkinaAlekseySQLЧто посоветуете?Проанализировать условия отбора и рассмотреть возможность партиционирования основной таблицы, если удастся получить хорошее попадание условиями отбора в партицию. Спасибо! AkinaAlekseySQLНужна максимальная скорость чтения данных (данные для записи будут получаться из инета, и в этом действии узким местом будет инет).Вот в этом месте полное непонимание. Если узкое место - передача данных, то не пофиг на скорость чтения? Данные будут получены один раз (большим количеством запросов через интернет), а потом будут только анализироваться в режиме "read only". Т.е. это база нужна для исследовательской работы. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.09.2018, 09:47 |
|
||
|
Что выбрать в моем случае: MyISAM или InnoDB?
|
|||
|---|---|---|---|
|
#18+
AlekseySQLбудут только анализироваться в режиме "read only".Тогда вне всякого сомнения MyISAM. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.09.2018, 10:26 |
|
||
|
Что выбрать в моем случае: MyISAM или InnoDB?
|
|||
|---|---|---|---|
|
#18+
AkinaAlekseySQLбудут только анализироваться в режиме "read only".Тогда вне всякого сомнения MyISAM. В инетах пишут, что эта таблица ненадежная. А у меня ко всему прочему очень большие объемы. Не рухнет? + В инете не нашел бенчмарков производительности на больших данных (я не буду получить сами записи, только статистику- рассчитывать количество записей с тем или иным набором параметров, т.е. ограничение по памяти мне не грозит). Ведь может получиться, что на маленьких объемах чтения лучше MyISAM, а на больших InnoDB... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.09.2018, 10:38 |
|
||
|
Что выбрать в моем случае: MyISAM или InnoDB?
|
|||
|---|---|---|---|
|
#18+
AlekseySQLВ инетах пишут, что эта таблица ненадежная. А у меня ко всему прочему очень большие объемы. Не рухнет?Ты же только читаешь! сфига бы ей вообще меняться, тем более с повреждением данных? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.09.2018, 12:49 |
|
||
|
Что выбрать в моем случае: MyISAM или InnoDB?
|
|||
|---|---|---|---|
|
#18+
AkinaAlekseySQLВ инетах пишут, что эта таблица ненадежная. А у меня ко всему прочему очень большие объемы. Не рухнет?Ты же только читаешь! сфига бы ей вообще меняться, тем более с повреждением данных? Но мне все же придется эту таблицу 1 раз заполнять. Не получится так, что после 100 млн. записей она будет падать, и мне надо будет начинать процедуру заполнения с начала (пока не пойму, что эта таблица "не держит" такие объемы). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.09.2018, 13:04 |
|
||
|
|

start [/forum/topic.php?fid=47&fpage=47&tid=1829612]: |
0ms |
get settings: |
11ms |
get forum list: |
15ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
32ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
40ms |
get tp. blocked users: |
2ms |
| others: | 246ms |
| total: | 368ms |

| 0 / 0 |

Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...