Добрый день!
Есть один проект, в рамках которого ведётся лог игровых событий для последующего анализа. Лог живёт в таблице, вот она в сокращённом виде:
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
CREATE TABLE `eventlog` (
`guid` CHAR(34) NOT NULL COMMENT 'Event GUID',
`timestamp_raw` BIGINT(20) UNSIGNED NOT NULL COMMENT 'UNIX epoch in milliseconds',
`timestamp_d` TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT 'Timestamp (human-readable)',
`player_name` VARCHAR(20) NOT NULL COMMENT 'Event origin name',
`player_guid` CHAR(34) NOT NULL COMMENT 'Event origin GUID',
`loc1_name` VARCHAR(128) NULL DEFAULT NULL COMMENT 'Loc1 name',
`loc1_guid` CHAR(35) NULL DEFAULT NULL COMMENT 'Loc1 GUID',
`event_action` ENUM('CAPTURE','LINK','FIELD','NOLINK','NOFIELD','FRACKER','BEACON') NULL DEFAULT NULL COMMENT 'Event action',
`plaintext` TEXT NOT NULL COMMENT 'Event plaintext'
)
COMMENT='Global event log'
COLLATE='utf8_general_ci'
ENGINE=MyISAM
;
Да, здесь нет индексов, в этом и проблема :(
Когда-то недавно, они были - для минимального анализа вот такие
1.
2.
3.
4.
5.
PRIMARY KEY (`guid`)
INDEX `timestamp_raw_idx` (`timestamp_raw`)
INDEX `player_name_idx` (`player_name`)
INDEX `player_guid_idx` (`player_guid`)
INDEX `loc1_guid_idx` (`loc1_guid`)
Но было это до тех пор, пока количество строк не превышало миллиона-двух и всё довольно шустро бегало.
Потом нам захотелось загрузить туда всю эпоху глобально и продолжать её отслеживать. Это за 3 прошедших месяца 400 миллионов строк, общим объёмом 145 GiB и плюс к тому ещё около 3-4 миллионов строк ежедневно должно добавляться.
Месяцы мы собирали отдельными SQL-файлами с инсертами, потом ужаснувшись скорости их загрузки в базу, загрузили их в клонированные таблицы без ключей, сделали SELECT INTO, потом из основной таблицы сделали LOAD INFILE, при этом в основной таблице пришлось тоже убрать индексы, иначе эта процедура затянулась бы на месяц или больше :(.
Теперь да, в единой таблице без индексов 400 миллионов строк и с этим что-то надо делать, т.к. никакие анализаторы не работают без индексов.
При попытке их добавить
1.
ALTER IGNORE TABLE `eventlog` ADD PRIMARY KEY (`guid`), ADD INDEX `timestamp_raw_idx` (`timestamp_raw`), ADD INDEX `player_name_idx` (`player_name`), ADD INDEX `player_guid_idx` (`player_guid`), ADD INDEX `loc1_guid_idx` (`loc1_guid`)
я вижу, что сервер начинает довольно бодренько писать временные MYD и MYI, кое-как доползает до отметки в 13 гигабайт MYD и полтора-два MYI и после этого скорость резко падает до черепашьей.
Я, в принципе, представляю, почему так происходит.
Наверное, PRIMARY KEY по CHAR(34) это плохая идея, но он там единственный гарантированно уникальный идентификатор каждого события.
Возможно, дело в том что сервер слабый - там всего 2 гигабайта оперативы и Pentium(R) Dual-Core CPU E5200 @ 2.50GHz.
Мы бы даже могли раскошелиться на более мощный сервер, если бы были точно уверены, что проблема именно в этом (что индексы не влазят в key buffer). Но тогда вопрос - а сколько ему надо? Если там линейная зависимость, то для базы в 400 млн строк ему понадобится, что ли, 55 гигабайт на индексы?
И нельзя забывать что ежедневно таблица будет расти на несколько миллионов строк.
В общем, хотелось бы услышать от уважаемого сообщества пути решения, советы, уточняющие вопросы и пр., прежде чем мы будем принимать какие-либо решения по бюджету.
