Здравствуйте коллеги,

Пишу сюда за помощью.
Итак, имеем выделенный сервер hetzner (Intel(R) Core(TM) i7-2600 CPU @ 3.40GHz 1600.000 Mhz X 8, 16Gb оперативка, 3Tb HDD)
На нем крутиться один сайт (посещалка около 8000 тыс. человек/сутки)

Для сайта используются две mysql базы данных. Одна для форума (ipb - размер 1,4Гб) с ней проблем нет, все работает как надо, не тормозит.

Вторая база собственного сочинения для нужд сайта. Имеются таблицы MyISAM и InnoDB. Размер этой базы 2,6 гб, свыше 20млн. строк. Самая большая таблица около 1Гб (InnoDB) - ~3,6 млн. записей.
Все таблицы в этой базе очень активно используются. SELECT, INSERT, UPDATE, DELETE.

Суть проблемы. Имеются несколько относительно мелких таблиц (1-3мб, 5-10 тыс. строк). Таблицы используются на SELECT постоянно, а INSERT, UPDATE или DELETE случаются пару раз в сутки. Так вот когда происходит изменение таблицы (NSERT, UPDATE или DELETE) случается завис всей mysql базы на 3-4 минуты. Причем если далее опять работать с этой таблицей - все ок. Такое впечатление, что при первом вызове таблицы происходит ее перемещение в оперативку и далее работа идет как надо. Но если оставить эту таблицу в покое на несколько часов, то снова произойдет зависон при попытке выполнить NSERT, UPDATE или DELETE.

С самой большой таблицей (1Гб (InnoDB) - ~3,6 млн. записей), что характерно, таких проблем нет. Но там редко бывает чтобы с таблицей ничего не делали. SELECT происходит ежесекундно, а INSERT, UPDATE, DELETE ежеминутно.

В чем может быть дело? Как исправить ситуацию.. Сервер настраивали уже несколько отличных спецов с фри-ланса. Результаты были, но недолго. Дело в том, что база растет постоянно, в день по 10-15 тыс. записей.

Я думаю, взять еще один сервер и вынести на него часть таблиц, или даже базу полностью...
Или использовать FEDERATED типы таблиц..
Что посоветуете??

Инфо из закладки "состояние" в phpmyadmin:
Трафик 1 ø в час
Принято 70 ГБ 151 МБ
Отправлено 2,521 ГБ 5,437 МБ
Всего 2,591 ГБ 5,589 МБ

Спасибо за советы!!

Попробую все таблицы перевести в InnoDB.

Изначально все было в MyISAM, но потом, часть таблиц, наиболее активно использующихся и тяжелых перевел в InnoDB.
Я не сильный спец в MySQL, и точно не помню, почему пришлось так сделать, видимо что-то где-то прочитал ((

optimize table делается, с этим все ок.

Тормозят как InnoDB, так и MyISAM таблицы. Одинаково..

авторА что конкретно ваши "спецы из фриланса" сделали для стабилизации кеша ?
Точно не знаю.. так как не очень разбираюсь во всем этом. Но после таких настроек, как правило все становилось намного лучше, пока база снова не вырастала ((

авторКак я понимаю, они это то, что продают под названием EX-4. Возможно, стоило взять EX-40 за те же деньги, но с процессором похуже, зато 32 гб RAM. Для mysql и веба это почти всегда лучше.
Да, EX-4. Когда его брал, база была в два или даже в три раза меньше и все летало.
Сейчас мне нужен совет, что лучше для MySQL, и как я понимаю - лучше взять побольше оперативки.. Вынести на один сервак базу и скрипты, а на другом все оставить. Или скрипты тоже убрать с MySQL сервера? Где-то читал, что это внесет дополнительную задержку - скрипту придется обращаться на другой сервер к базе..

авторС точки зрения администратора лучше чем эти меры, как правило, не сделать ничего.А с точки зрения программиста еще можно попытаться анализировать запросы подробнее. Но это ведь не ваш метод, да?
Скрипты и запросы у меня и так вроде проще некуда.. И при обычной работе проблем нет. Проблемы возникают, как я писал выше, когда таблицу долго не изменяют.

А вообще, понимаю, что мне нужен спец именно по MySQL, который бы все посмотрел и дал конкретные советы...

netwind,

Так стоит или нет переводить все таблицы к одному типу движка?? Я так понял, что разные типы таблиц в одной базе зло...

авторавтор
Сейчас мне нужен совет, что лучше для MySQL, и как я понимаю - лучше взять побольше оперативки.. Вынести на один сервак базу и скрипты, а на другом все оставить. Или скрипты тоже убрать с MySQL сервера? Где-то читал, что это внесет дополнительную задержку - скрипту придется обращаться на другой сервер к базе.


50% - или внесет или не внесет.


Попробую сформулировать по другому. Что лучше: вся база на одном сервере, или разнести таблицы по разным серверам.
Веди если всю базу положить на один сервер, через некоторое время она не уткнется в предел мощностей железа?
Сейчас база 2,6Гб, через год, скажем будет 5гб? и 32Гб оперативы станет не хватать..

В идеале хочется масштабируемое решение. Выросла таблица - взял сервер, перенес на нее базу и все летает ))
Вот только что делать, если какая-то одна таблица вырастет до огромных размеров (например 10Гб, 40млн. записей)?

my.cnf

Спасибо за советы.

Сейчас попробую поиграться с настройками.

авторДа и ещё неплохо было бы посмотреть на отчет тюнера.
Что за тюнер и где этот отчет смотреть?

Нашел тюнер, поставил.

Вот, что он выдал:
автор >> MySQLTuner 1.2.0 - Major Hayden <major@mhtx.net>;
>> Bug reports, feature requests, and downloads at http://mysqltuner.com/
>> Run with '--help' for additional options and output filtering
[OK] Logged in using credentials from debian maintenance account.

-------- General Statistics --------------------------------------------------
[--] Skipped version check for MySQLTuner script
[OK] Currently running supported MySQL version 5.1.63-0+squeeze1-log
[OK] Operating on 64-bit architecture

-------- Storage Engine Statistics -------------------------------------------
[--] Status: +Archive -BDB -Federated +InnoDB -ISAM -NDBCluster
[--] Data in MyISAM tables: 2G (Tables: 392)
[--] Data in InnoDB tables: 518M (Tables: 93)
[--] Data in MEMORY tables: 0B (Tables: 1)
[!!] Total fragmented tables: 142

-------- Security Recommendations -------------------------------------------
[OK] All database users have passwords assigned

-------- Performance Metrics -------------------------------------------------
[--] Up for: 1h 48m 6s (4M q [683.073 qps], 293K conn, TX: 11B, RX: 317M)
[--] Reads / Writes: 92% / 8%
[--] Total buffers: 4.5G global + 33.4M per thread (500 max threads)
[!!] Maximum possible memory usage: 20.9G (133% of installed RAM)
[OK] Slow queries: 0% (117/4M)
[OK] Highest usage of available connections: 15% (76/500)
[OK] Key buffer size / total MyISAM indexes: 2.0G/585.6M
[OK] Key buffer hit rate: 100.0% (533M cached / 233K reads)
[OK] Query cache efficiency: 54.8% (1M cached / 2M selects)
[!!] Query cache prunes per day: 2805935
[OK] Sorts requiring temporary tables: 0% (69 temp sorts / 118K sorts)
[!!] Joins performed without indexes: 323
[OK] Temporary tables created on disk: 10% (5K on disk / 49K total)
[OK] Thread cache hit rate: 97% (6K created / 293K connections)
[OK] Table cache hit rate: 35% (871 open / 2K opened)
[OK] Open file limit used: 1% (1K/62K)
[OK] Table locks acquired immediately: 99% (1M immediate / 1M locks)
[OK] InnoDB data size / buffer pool: 518.7M/2.0G

-------- Recommendations -----------------------------------------------------
General recommendations:
Run OPTIMIZE TABLE to defragment tables for better performance
MySQL started within last 24 hours - recommendations may be inaccurate
Reduce your overall MySQL memory footprint for system stability
Increasing the query_cache size over 128M may reduce performance
Adjust your join queries to always utilize indexes
Variables to adjust:
*** MySQL's maximum memory usage is dangerously high ***
*** Add RAM before increasing MySQL buffer variables ***
query_cache_size (> 256M) [see warning above]
join_buffer_size (> 16.0M, or always use indexes with joins)


Перед этим был изменен my.cfn
автор#
# The MySQL database server configuration file.
#
# You can copy this to one of:
# - "/etc/mysql/my.cnf" to set global options,
# - "~/.my.cnf" to set user-specific options.
#
# One can use all long options that the program supports.
# Run program with --help to get a list of available options and with
# --print-defaults to see which it would actually understand and use.
#
# For explanations see
# http://dev.mysql.com/doc/mysql/en/server-system-variables.html

# This will be passed to all mysql clients
# It has been reported that passwords should be enclosed with ticks/quotes
# escpecially if they contain "#" chars...
# Remember to edit /etc/mysql/debian.cnf when changing the socket location.
[client]
port = 3306
socket = /var/run/mysqld/mysqld.sock

# Here is entries for some specific programs
# The following values assume you have at least 32M ram

# This was formally known as [safe_mysqld]. Both versions are currently parsed.
[mysqld_safe]
socket = /var/run/mysqld/mysqld.sock
nice = 0

[mysqld]
#
# * Basic Settings
#
user = mysql
pid-file = /var/run/mysqld/mysqld.pid
socket = /var/run/mysqld/mysqld.sock
port = 3306
basedir = /usr
datadir = /var/lib/mysql
tmpdir = /tmp
language = /usr/share/mysql/english
skip-external-locking
#bind_address = 127.0.0.1
#
# Instead of skip-networking the default is now to listen only on
# localhost which is more compatible and is not less secure.
#
# * Fine Tuning
#
key_buffer = 2048M
max_allowed_packet = 16M
thread_stack = 192K
thread_cache_size = 8
# This replaces the startup script and checks MyISAM tables if needed
# the first time they are touched
myisam-recover = BACKUP
max_connections = 500
table_cache = 31200
#thread_concurrency = 10

sort_buffer_size = 16M
read_buffer_size = 256K
read_rnd_buffer_size = 1M

# * Query Cache Configuration
#
query_cache_limit = 16M
query_cache_size = 256M

wait_timeout = 10
connect_timeout = 30
interactive_timeout = 30

tmp_table_size = 128M
max_heap_table_size = 128M
join_buffer_size = 16M

#
# * Logging and Replication
#
# Both location gets rotated by the cronjob.
# Be aware that this log type is a performance killer.
# As of 5.1 you can enable the log at runtime!
#general_log_file = /var/log/mysql/mysql.log
#general_log = 1
#
# Error logging goes to syslog due to /etc/mysql/conf.d/mysqld_safe_syslog.cnf.
#
# Here you can see queries with especially long duration
log_slow_queries = /var/log/mysql/mysql-slow.log
long_query_time = 5
#log-queries-not-using-indexes
#
# The following can be used as easy to replay backup logs or for replication.
# note: if you are setting up a replication slave, see README.Debian about
# other settings you may need to change.
#server-id = 1
#log_bin = /var/log/mysql/mysql-bin.log
expire_logs_days = 10
max_binlog_size = 100M
#binlog_do_db = include_database_name
#binlog_ignore_db = include_database_name
#
# * InnoDB
#
# InnoDB is enabled by default with a 10MB datafile in /var/lib/mysql/.
# Read the manual for more InnoDB related options. There are many!
#
# * Security Features
#
# Read the manual, too, if you want chroot!
# chroot = /var/lib/mysql/
#
# For generating SSL certificates I recommend the OpenSSL GUI "tinyca".
#
# ssl-ca=/etc/mysql/cacert.pem
# ssl-cert=/etc/mysql/server-cert.pem
# ssl-key=/etc/mysql/server-key.pem

innodb_buffer_pool_size = 2048M
innodb_additional_mem_pool_size = 128M
innodb_file_io_threads = 8
innodb_log_buffer_size = 32M
innodb_flush_log_at_trx_commit = 2
innodb_lock_wait_timeout = 50
innodb_file_per_table


[mysqldump]
quick
quote-names
max_allowed_packet = 16M

[mysql]
#no-auto-rehash # faster start of mysql but no tab completition

[isamchk]
key_buffer = 16M

#
# * IMPORTANT: Additional settings that can override those from this file!
# The files must end with '.cnf', otherwise they'll be ignored.
#
!includedir /etc/mysql/conf.d/


Пока, по первым впечатлениям сервер стал шустрее работать.. но надо подождать несколько дней, чтобы окончательные выводы делать..

miksoft,

авторЧто-то не очень сходится с стартовым постом.
Действительно... но в phpmyadmin показывает побольше цифры!

автор... и странно не сходится "optimize table делается" с 142-я дефрагментированными таблицами...

Оптимизация делается. Но практически сразу снова появляется дефрагментация на пару кб у определенных таблиц. Не думаю, что это так уж и страшно.. То есть практически всегда есть как минимум штук 70 дефрагментированных таблиц.

А после выполненных советов сайт стал практически летать! Так что всем спасибо! Я сейчас даже боюсь еще что-то менять ))
Настройки все как в последней выкладки my.cnf

Просто сейчас в отпуск уезжаю на две недели и оставлять сервер с экспериментальными настройками не очень хочется.. Вот как приеду, буду пробовать выполнять остальные рекомендации.