Здавствуйте. Все довольно просто если не учитывать нагрузку. Есть сайт, он выдает страницы, если на странице есть реклама то происходит вставка записи в таблицу вида u_id, ads_id, date, type (тип действия в данном случае view = показ) движек myisam. В конце дня собираются данные о кол-ве показов, сколько из них уникальных и тд. И таблица очищается. И так каждый день.
Все вроде нормально, но как только количество показов переваливает за 200 000 в сутки, сервер падает из-за больного количества дисковых операций записи. Одним из вариантов я вижу сбор статистики в таблицу на движке memory (чтобы не обращаться к диску для insertа в нее) и через какой то период вываливать из нее в обычную. Но тогда возникает вопрос как поставить создание таблицы автозагрузку сервера? Если через init.d, то скорее всего он выполнится до старта mysql, с задержкой тоже некамильфо.
Может быть вы предложите другой вариант хранения статистики в данном случае?
fourtyТак запись в файл все равно же обращение к диску на запись, есть существенная разница как писать на диск через бд или напрямую?Во-первых, файлы лучше кэшируются (в отличие от таблиц MyISAM, которые не кэшируются вовсе).
Во-вторых, нет перестройки и записи индексов (не без индексов же у вас таблица?).
В третьих, писать можно в несколько файлов, чтобы меньше налетать на взаимную блокировку писателей.
Тогда как в MyISAM при любой попытке модификации таблицы она блокируется целиком.
fourtyТо есть memory таблицы Вы не рекомендуете использовать в данной ситуации? Кроме потери статистики при перезагрузке сервера есть какие-то еще причины?Да нет, почему же? Если оперативки хватает, то пожалуйста. Просто дискового места обычно больше и оно обычно дешевле.
fourtyМожет быть есть еще решения для больших нагрузок до кучи?Решение, в общем-то, одно - буферизация. Просто реализовать ее можно разными способами.
Еще вариант - перевести таблицу на InnoDB с включенным innodb_file_per_table.
Возможны частные решения в рамках конкретной задачи, но это уже надо разбираться в задаче.
Например, бывает, что "сырые" данные не пишут вообще, а модифицируют уже имеющиеся счетчики, суммы и прочие агрегаты.
miksoft, эта пометка в документации сделана просто для "продвижения" от innodb. означает лишь то, что внутри mysql нет специально выделенной памяти для кеширования данных в отличие от innodb где buffer pool заполняется страницами и данных и индекса.
в контексте обсуждения, очевидно, что данные в myisam кешируются как минимум не хуже чем данные в файлах.
netwindвнутри mysql нет специально выделенной памяти для кеширования данныхИменно об этом я и говорил (в контексте MyISAM, разумеется).
netwindв контексте обсуждения, очевидно, что данные в myisam кешируются как минимум не хуже чем данные в файлах.Мне не очевидно. Можно раскрыть мысль?
авторВо-первых, файлы лучше кэшируются (в отличие от таблиц MyISAM, которые не кэшируются вовсе).
фраза целиком неправильная ибо данные кэшируются ровно тем же местом что и файлы.
direct io я для myisam не знаю. настройка есть только для innodb
miksoftnetwindв контексте обсуждения, очевидно, что данные в myisam кешируются как минимум не хуже чем данные в файлах.Мне не очевидно. Можно раскрыть мысль?
не имея количественных данных о конкретном приложении, можно рассуждать только о качественных различиях.
память для кеширования они одну и ту же же разделяют между собой. так что в теории все одинаково будет.
miksoftМне не очевидно. Можно раскрыть мысль?Данные муисам не кэшируются самой СУБД. Это вовсе не говорит о том, что они не кэшируются ОС (точно так же, как и обычные файлы).
Другое дело, что СУБД "лучше знает", какие данные на данный момент больше нуждаются в кэшировании, но если мы сравниваем не инно с муисамом, а файлик с муисамом, то разницы тут невооружённым взглядом кагбэ не заметить (имхо).
tanglirmiksoftМне не очевидно. Можно раскрыть мысль?Данные муисам не кэшируются самой СУБД. Это вовсе не говорит о том, что они не кэшируются ОС (точно так же, как и обычные файлы).
Другое дело, что СУБД "лучше знает", какие данные на данный момент больше нуждаются в кэшировании, но если мы сравниваем не инно с муисамом, а файлик с муисамом, то разницы тут невооружённым взглядом кагбэ не заметить (имхо).Ну хорошо, втроем уговорили :)
В очередной раз даю себе задание слазить в исходники по этому вопросу (ибо не факт с какими именно опциями открывается файл и как часто он флэшится).
netwindmiksoft, все с обычными опциями.
Есть правда интересный трюк : myisam_use_mmap=1.я говорил не об опциях MySQL, а об опциях при вызове системной функции открытия файла.
На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых
сервисов с использованием метрической программы Яндекс.Метрика.
Продолжая использовать сайт, вы даёте согласие на обработку файлов cookie, необходимых для работы сайта. Другие опции вы можете выбрать по своему усмотрению.
По нижеприведенным ссылкам мы можете ознакомиться с действующим на сайте пользовательским соглашением и политикой конфиденциальности.
