
Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
|
20.07.2015, 20:16:16
|
|||
|---|---|---|---|
|
|||
Вопрос по физическому размеру БД |
|||
|
#18+
Здравствуйте, уважаемые старожилы. В БД на движке InnoDB есть таблица "znachenie" c колонками ID BIGINT PRIMARY KEY id_afx SMALLINT kod_amplitudi TINYINT(2) kod_fazi TINYINT(2) amplituda FLOAT faza FLOAT. По моим скромным подсчетам это 8+2+1+1+4+4= 20 байт на каждую строку. Информация в колонки faza и amplituda загружается путем LOAD DATA INFILE из кучи текстовых файлов. Коды амлитуды и фазы программно расчитываются и также заполняются в таблицу путем Load data из другого файла. SHOW STATUS TABLE LIKE 'table_name' говорит о том, что в сумме c размером индексного файла и data_free на одну запись в таблице уходит порядка 60 байт, что сильно настораживает и озадачивает. Я хотел бы узнать, можно ли как-то понять сколько будет занимать одна запись в данной таблице, чтобы можно было ориентироваться, так как планируется хранение данных до 1 ТБ. Также хотел бы выслушать ваши советы по поводу выбранного движка , учитывая подобный размер( правильно ли?). И если есть возможность узнать о любой информации, в которой можно подчерпнуть знаний по поводу проектирования БД подобных масштабов. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
20.07.2015, 20:38:14
|
|||
|---|---|---|---|
Вопрос по физическому размеру БД |
|||
|
#18+
unutcon Mephi, Покажите полный DDL таблицы. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
20.07.2015, 20:45:13
|
|||
|---|---|---|---|
|
|||
Вопрос по физическому размеру БД |
|||
|
#18+
CREATE TABLE IF NOT EXISTS `AntennaModel`.`Znachenie` ( `ID` BIGINT UNSIGNED NOT NULL AUTO_INCREMENT, `id_afx` SMALLINT UNSIGNED NOT NULL, `kod_amplitud` TINYINT(2) UNSIGNED NOT NULL, `kod_fazi` TINYINT(2) UNSIGNED NOT NULL, `amplituda` FLOAT NOT NULL, `faza` FLOAT NOT NULL, PRIMARY KEY (`ID`), INDEX `key_id_afx_znachenie_idx` (`id_afx` ASC), CONSTRAINT `key_id_afx_znachenie` FOREIGN KEY (`id_afx`) REFERENCES `AntennaModel`.`AFX` (`ID`) ON DELETE CASCADE ON UPDATE CASCADE) ENGINE = InnoDB; Кодировка utf8 и правила сравнения utf8_general_ci miksoft, спасибо за участие. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
20.07.2015, 22:42:30
|
|||
|---|---|---|---|
Вопрос по физическому размеру БД |
|||
|
#18+
Добавьте еще 2+8=10 байт на индекс. Плюс 10-30% на индексную структуру. Плюс заголовки блоков. И почему вы прибавляете data_free ? OPTIMIZE TABLE делали? innodb_file_per_table был включен в момент создания таблицы? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
20.07.2015, 23:03:55
|
|||
|---|---|---|---|
|
|||
Вопрос по физическому размеру БД |
|||
|
#18+
miksoft, innodb_file_per_table был включен ( использую MySQL WorkBench для создания) OPTIMIZE TABLE не делал, почему-то до нынешних времен считал что это для таблиц типа MyISAM. Обязательно разберусь. Прокомментируйте пожалуйста вопрос по поводу выбранного движка, учитывая амбиции целей, правильно ли выбран InnoDB? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
20.07.2015, 23:11:19
|
|||
|---|---|---|---|
Вопрос по физическому размеру БД |
|||
|
#18+
unutcon Mephi, на счет движка у тебя мало выбора. Но выбор зависит не от структуры, а от того что ты будешь с данными делать. Но я бы в любом случае использовал Инно. myisam это не субд, это хрень какая то. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
20.07.2015, 23:48:54
|
|||
|---|---|---|---|
Вопрос по физическому размеру БД |
|||
|
#18+
unutcon MephiПрокомментируйте пожалуйста вопрос по поводу выбранного движка, учитывая амбиции целей, правильно ли выбран InnoDB?Вариантов-то, собственно, и нет. Если только у кого-то из форков что-то найдется, но тут не подскажу. А вообще вопрос слишком неопределенный. Сильно зависит от задач, которые должны будет решать СУБД. Может статься так, что СУБД вовсе не нужна, а достаточно файлов фиксированной структуры. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
21.07.2015, 11:12:50
|
|||
|---|---|---|---|
|
|||
Вопрос по физическому размеру БД |
|||
|
#18+
miksoft Сильно зависит от задач, которые должны будет решать СУБД. Может статься так, что СУБД вовсе не нужна, а достаточно файлов фиксированной структуры. Основная задача - структурированно хранить данные , использовать сортировки и выборки в интерфейсе управления. На данный момент данные хранятся в текстовых файлах, которых очень много и это слишком неудобно. Желание устраненить этот недостаток и вызвало мысли о использовании РСУБД. innodb_file_per_table лучше не включать? Почитал немного, как понял - в основном влияет на производительность. Поправте если не так. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
21.07.2015, 12:08:32
|
|||
|---|---|---|---|
|
|||
Вопрос по физическому размеру БД |
|||
|
#18+
Загружаю в таблицу znachenie 408792 строк. Data_lenght = 17350656 байт ~ 16.5 МБ index_lenght = 6832128 байт ~ 6.52 МБ data_free = 4194304 байт ~ 4МБ В сумме 27 МБ Размер на диске znachenie 31744 килобайт~ 31 МБ ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
21.07.2015, 12:50:53
|
|||
|---|---|---|---|
Вопрос по физическому размеру БД |
|||
|
#18+
unutcon MephiЗагружаю в таблицу znachenie 408792 строк. Data_lenght = 17350656 байт ~ 16.5 МБ index_lenght = 6832128 байт ~ 6.52 МБ data_free = 4194304 байт ~ 4МБ В сумме 27 МБ Размер на диске znachenie 31744 килобайт~ 31 МБЭто нормально, с учетом того, что размер файла растет порциями по 4 МБ. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
21.07.2015, 12:51:42
|
|||
|---|---|---|---|
Вопрос по физическому размеру БД |
|||
|
#18+
unutcon Mephiinnodb_file_per_table лучше не включать?Лучше включить. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
22.07.2015, 10:53:41
|
|||
|---|---|---|---|
|
|||
Вопрос по физическому размеру БД |
|||
|
#18+
Miksoft,а подскажите пожалуйста, реально ли файлы БД хранить на разных дисках в разных файлах? Предположим БД 1.06 ТБ а диск на 1 ТБ, поэтому добавляем еще 1 жесткий и храним вылазящую из диапазона информацию там? Подскажите ,если возможно, что изучить по данному вопросу чтобы более-менее "плавать" в нем теоретически. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
22.07.2015, 11:01:34
|
|||
|---|---|---|---|
Вопрос по физическому размеру БД |
|||
|
#18+
https://dev.mysql.com/doc/refman/5.6/en/tablespace-placing.html Но так unutcon Mephiи храним вылазящую из диапазона информацию там?не получится. Одна таблица - один tablescape. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
22.07.2015, 11:35:33
|
|||
|---|---|---|---|
|
|||
Вопрос по физическому размеру БД |
|||
|
#18+
Tanglir, а не подскажите, предположим у меня включен 'innodb_file_per_table' , на каждую таблицу создается файл .ibd и .frm. Но файл ibdata также растет, причем в большем обьеме чем данные, т.е. если теоретически в моей таблице планируется около 1 ТБ данных, то файл ibdata будет заниматься еще больше места? Как я понял ibdata хранит все данные и индексы InnoDB таблиц( у меня все 9 табилц innoDB , но 8 из них будут занимать мало места и лишь одна(znachenie ) о которой писалось выше много) .Файл ibdata создан по умолчанию, их можно изменить и создать сколько угодно с помощью опции innodb_data_file_path. Влияет ли переменная 'innodb_file_per_table' на файлы типа ibdata?? Не получится ли так, что если таблица (файл .ibd) весит X гигабайт, то и "ibdata файл(ы)" будут весить столько же(что в сумме 2Х)? Спасибо большое за участие, задаю вопросы не из-за собственной лени, а из-за неполного понимания предмета. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
22.07.2015, 11:49:00
|
|||
|---|---|---|---|
|
|||
Вопрос по физическому размеру БД |
|||
|
#18+
Прошу прощения, я так и не понял можно ли редактировать свои сообщения. Верно, что если включена опция innodb_file_per_table, то для нас файл ibdata уже не актуален,а актуальны .ibd файлы таблиц?( т.е. все данные забиваются в ibd и не лезут в ibdata) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
22.07.2015, 12:25:05
|
|||
|---|---|---|---|
Вопрос по физическому размеру БД |
|||
|
#18+
Да. ibdata - общее хранилище для таблиц, которые были созданы при отключенном innodb_file_per_table. Все данные таблиц, созданных, когда этот параметр включен, хранятся в своих собственных файлах и никак не затрагивают Ibdata. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
22.07.2015, 12:41:44
|
|||
|---|---|---|---|
|
|||
Вопрос по физическому размеру БД |
|||
|
#18+
tanglir, не сочтите за наглость, но позвольте еще поинтересоваться. Предположим опция innodb_file_per_table включена, на каждую таблицу создается файл frm и данные хранятся в нем.Как я понимаю там будут храниться и индексы, и загруженные значения. Я могу (судя по мануалу который на который вы мне указали) хранить этот файл frm на другом жестком(внешнем) диске, но не могу его разбивать на части. Грубо говоря загрузил в таблицу 100 ГБ файл будет весить в районе 100 гб и никак его не разбить на кучу одинаковых файлов по 25г. Если использовать общее хранилище(innodb_file_per_table 0) , файлов ibdata можно будет сделать сколько угодно, указывая приращение, но видимо нельзя будет хранить их на разных дисках? Если ibdata можно разбить на части и хранить некоторые на разных дисках, то для меня это будет более приемлимый вариант, но я к сожалению еще не вижу подводных камней, которые ожидают при использовании этого варианта. Спасибо за обьяснения. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|

start [/forum/topic.php?fid=47&mobile=1&tid=1832924]: |
0ms |
get settings: |
11ms |
get forum list: |
13ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
45ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
56ms |
get tp. blocked users: |
2ms |
| others: | 238ms |
| total: | 384ms |

| 0 / 0 |
