|
|
|
Проблема с репликацией.
|
|||
|---|---|---|---|
|
#18+
Поставил MySql 5.6 всё работает уже второй день. Странно... =) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.09.2015, 13:17:36 |
|
||
|
Проблема с репликацией.
|
|||
|---|---|---|---|
|
#18+
Mysql пропработал почти 3 дня и упал. Мониторинг Vmware пока недоступен. Скоро будет, гляну туда Вот немного логов. Ребят, помогайте. InnoDB: error in sec index entry update in InnoDB: index `FK4BE7532292C5D482` of table `db`.`Posting` InnoDB: tuple DATA TUPLE: 2 fields; 0: len 8; hex 80000000009a8603; asc ;; 1: len 8; hex 8000000003c76526; asc e&;; InnoDB: record PHYSICAL RECORD: n_fields 2; compact format; info bits 0 0: len 8; hex 80000000009a8602; asc ;; 1: len 8; hex 8000000003b81c23; asc #;; TRANSACTION 68607054847, ACTIVE 0 sec updating or deleting mysql tables in use 1, locked 1 4 lock struct(s), heap size 1184, 2 row lock(s), undo log entries 1 MySQL thread id 2, OS thread handle 0x7fe464169700, query id 5104216 updating delete from Posting where ID=63399206 InnoDB: Submit a detailed bug report to http://bugs.mysql.com InnoDB: error in sec index entry update in InnoDB: index `FK4BE7532292C5D482` of table `db`.`Posting` InnoDB: tuple DATA TUPLE: 2 fields; 0: len 8; hex 80000000009a8605; asc ;; 1: len 8; hex 8000000003c76527; asc e';; InnoDB: record PHYSICAL RECORD: n_fields 2; compact format; info bits 0 0: len 8; hex 80000000009a8602; asc ;; 1: len 8; hex 8000000003b81c23; asc #;; TRANSACTION 68607054852, ACTIVE 0 sec updating or deleting mysql tables in use 1, locked 1 4 lock struct(s), heap size 1184, 2 row lock(s), undo log entries 1 MySQL thread id 2, OS thread handle 0x7fe464169700, query id 5104223 updating delete from Posting where ID=63399207 InnoDB: Submit a detailed bug report to http://bugs.mysql.com 2015-09-16 05:24:57 7fe4659ee700 InnoDB: unable to find a record to delete-mark InnoDB: tuple DATA TUPLE: 2 fields; 0: len 64; hex 62393162373537653339353438303338383064323736336538356533643163633666666362336632316566623666656463613636333561663836643537656438; asc b91b757e3954803880d2763e85e3d1cc6ffcb3f21efb6fedca6635af8 6d57ed8;; 1: len 8; hex 800000007739dd0e; asc w9 ;; InnoDB: record PHYSICAL RECORD: n_fields 2; compact format; info bits 0 0: len 30; hex 373636313264633034626163373935663564333032396563393835636531; asc 76612dc04bac795f5d3029ec985ce1; (total 64 bytes); 1: len 8; hex 8000000000050ae2; asc ;; space 967 offset 206473 (106 records, index id 3427) InnoDB: Submit a detailed bug report to http://bugs.mysql.com 2015-09-16 09:36:55 7fe46a9f8700 InnoDB: Error: Insert buffer insert fails; page free 6, dtuple size 79 InnoDB: Cannot insert index record DATA TUPLE: 2 fields; 0: len 64; hex 62393137366234616332303930376330326464653465636466323333643430316435613938303534386132323063313435663034356237343432386137323166; asc b9176b4ac20907c02dde4ecdf233d401d5a980548a220c145f045b74428a721f;; 1: len 8; hex 8000000077380e24; asc w8 $;; InnoDB: The table where this index record belongs InnoDB: is now probably corrupt. Please run CHECK TABLE on InnoDB: that table. InnoDB: space 967, page 206523, zip_size 0, bitmap bits 3 InnoDB: Submit a detailed bug report to http://bugs.mysql.com 2015-09-16 10:42:43 7fe4659ee700 InnoDB: unable to find a record to delete-mark InnoDB: tuple DATA TUPLE: 2 fields; 0: len 8; hex 800000007736faeb; asc w6 ;; 1: len 8; hex 800000000799d64d; asc M;; InnoDB: record PHYSICAL RECORD: n_fields 2; compact format; info bits 0 0: len 8; hex 800000007736faeb; asc w6 ;; 1: len 8; hex 8000000007921870; asc p;; space 162 offset 1170649 (431 records, index id 431) InnoDB: Submit a detailed bug report to http://bugs.mysql.com InnoDB: error in sec index entry update in InnoDB: index `FKE30A7ABE382D11BC` of table `db`.`Transaction` InnoDB: tuple DATA TUPLE: 2 fields; 0: len 8; hex 800000007736faeb; asc w6 ;; 1: len 8; hex 800000000799d64e; asc N;; InnoDB: record PHYSICAL RECORD: n_fields 2; compact format; info bits 0 0: len 8; hex 800000007736faeb; asc w6 ;; 1: len 8; hex 8000000007921870; asc p;; TRANSACTION 68610175062, ACTIVE 0 sec updating or deleting mysql tables in use 1, locked 1 2 lock struct(s), heap size 360, 1 row lock(s), undo log entries 1 MySQL thread id 2, OS thread handle 0x7fe464169700, query id 10618780 updating delete from Transaction where ID=127522382 InnoDB: Submit a detailed bug report to http://bugs.mysql.com InnoDB: error in sec index entry update in InnoDB: index `FKE30A7ABE382D11BC` of table `db`.`Transaction` InnoDB: tuple DATA TUPLE: 2 fields; 0: len 8; hex 800000007736faeb; asc w6 ;; 1: len 8; hex 800000000799d64f; asc O;; InnoDB: record PHYSICAL RECORD: n_fields 2; compact format; info bits 0 0: len 8; hex 800000007736faeb; asc w6 ;; 1: len 8; hex 8000000007921870; asc p;; TRANSACTION 68610175139, ACTIVE 0 sec updating or deleting mysql tables in use 1, locked 1 2 lock struct(s), heap size 360, 1 row lock(s), undo log entries 1 MySQL thread id 2, OS thread handle 0x7fe464169700, query id 10618880 updating delete from Transaction where ID=127522383 InnoDB: Submit a detailed bug report to http://bugs.mysql.com InnoDB: error in sec index entry update in InnoDB: index `FKE30A7ABE382D11BC` of table `db`.`Transaction` InnoDB: tuple DATA TUPLE: 2 fields; 0: len 8; hex 800000007736faeb; asc w6 ;; 1: len 8; hex 800000000799d650; asc P;; InnoDB: record PHYSICAL RECORD: n_fields 2; compact format; info bits 0 0: len 8; hex 800000007736faeb; asc w6 ;; 1: len 8; hex 8000000007921870; asc p;; TRANSACTION 68610175144, ACTIVE 0 sec updating or deleting mysql tables in use 1, locked 1 2 lock struct(s), heap size 360, 1 row lock(s), undo log entries 1 MySQL thread id 2, OS thread handle 0x7fe464169700, query id 10618886 updating delete from Transaction where ID=127522384 InnoDB: Submit a detailed bug report to http://bugs.mysql.com 2015-09-16 11:27:05 7fe4659ee700 InnoDB: unable to find a record to delete-mark InnoDB: tuple DATA TUPLE: 2 fields; 0: len 8; hex 8000000000518027; asc Q ';; 1: len 8; hex 8000000003c76fb8; asc o ;; InnoDB: record PHYSICAL RECORD: n_fields 2; compact format; info bits 0 0: len 8; hex 8000000000518027; asc Q ';; 1: len 8; hex 8000000003c39022; asc ";; space 121 offset 634817 (462 records, index id 323) InnoDB: Submit a detailed bug report to http://bugs.mysql.com 2015-09-16 11:28:39 7fe464169700 InnoDB: Assertion failure in thread 140618908473088 in file btr0cur.cc line 295 InnoDB: Failing assertion: page_is_comp(get_block->frame) == page_is_comp(page) InnoDB: We intentionally generate a memory trap. InnoDB: Submit a detailed bug report to http://bugs.mysql.com. InnoDB: If you get repeated assertion failures or crashes, even InnoDB: immediately after the mysqld startup, there may be InnoDB: corruption in the InnoDB tablespace. Please refer to InnoDB: http://dev.mysql.com/doc/refman/5.6/en/forcing-innodb-recovery.html InnoDB: about forcing recovery. 08:28:39 UTC - mysqld got signal 6 ; This could be because you hit a bug. It is also possible that this binary or one of the libraries it was linked against is corrupt, improperly built, or misconfigured. This error can also be caused by malfunctioning hardware. We will try our best to scrape up some info that will hopefully help diagnose the problem, but since we have already crashed, something is definitely wrong and this may fail. key_buffer_size=8388608 read_buffer_size=131072 max_used_connections=2 max_threads=50 thread_count=2 connection_count=0 It is possible that mysqld could use up to key_buffer_size + (read_buffer_size + sort_buffer_size)*max_threads = 28031 K bytes of memory Hope that's ok; if not, decrease some variables in the equation. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.09.2015, 15:36:29 |
|
||
|
Проблема с репликацией.
|
|||
|---|---|---|---|
|
#18+
serj0333, может файловой систему таки протестировать? можно взять fio и вот такую типовую конфигурацию для fio : http://git.kernel.dk/?p=fio.git;a=blob;f=examples/surface-scan.fio;h=dc3373a2ea48f495cdc03ccf4dc2e1ed23e3e434;hb=HEAD Ну и те кто вам vmware предоставляют узнаю наконец какую лажу они купили вместо дисков. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.09.2015, 23:31:56 |
|
||
|
Проблема с репликацией.
|
|||
|---|---|---|---|
|
#18+
и dmesg вы не проверили. или файл куда эти dmesg пишутся. Там могут быть важные сообщения о проблемах с дисками. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.09.2015, 23:38:40 |
|
||
|
Проблема с репликацией.
|
|||
|---|---|---|---|
|
#18+
serj0333, serj0333, 1. у вас точно в гостевой системе ОЗУ 35Г ??? (может на деле 4Г) 2. все же попросите установить гостяОС на отдельный физический диск, пусть даже просто SATA, оградите тем самым себя от поползновений от других "гостей", может их там 10 крутится на одной болванке подозрение что там просто перегрев... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.09.2015, 10:35:26 |
|
||
|
Проблема с репликацией.
|
|||
|---|---|---|---|
|
#18+
действительно, нужно почитать системные журналы, что там творится в это время. Там может быть что то интересное. Логи очень похожи на то что мускл не понимает что с ним случилось и свалился. А с вмварей может быть все хорошо, но когда из за какой то нагрузки виртуальная машина мигрирует с хоста на хост возникают проблемы. Такие вещи тестами проверять очень сложно, ведь случаются они не всегда и не обязательно будут во время тестов. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.09.2015, 20:15:51 |
|
||
|
Проблема с репликацией.
|
|||
|---|---|---|---|
|
#18+
Вот самое простое средство которое может показать что происходит с сервером прям сейчас. Как раз тогда когда нет возможности настроить Cacti/Nagios/Zabbix/... http://sourceforge.net/projects/mysqlmt/ Внутри в файлах конфига можно поправить переменные. У меня на 2м мониторе висит всегда когда я сомневаюсь в надежности сервера. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.09.2015, 08:19:23 |
|
||
|
Проблема с репликацией.
|
|||
|---|---|---|---|
|
#18+
Мало ли кто зайдет, может кому полезно будет. Проблема решилась увеличением ресурсов. Если кто-то накидает статей на тему как рассчитать необходимую мощность для серверов БД и прочих, буду признателен. Всем спасибо за советы. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.10.2015, 15:18:01 |
|
||
|
Проблема с репликацией.
|
|||
|---|---|---|---|
|
#18+
serj0333Мало ли кто зайдет, может кому полезно будет. Проблема решилась увеличением ресурсов. Если кто-то накидает статей на тему как рассчитать необходимую мощность для серверов БД и прочих, буду признателен. Всем спасибо за советы. Да нет таких статей и быть не может. На типовых коробочных приложения в схожих условиях еще как-то можно оценивать, но статьи они не удостоятся. mysqltuner считает память "по максимуму" исходя из размеров буферов * max_connections, но будет ли достигнуто max_connections он не знает и все равно некоторые буферы не суммируются. То есть, все равно это оценка весьма натянутая. С производительностью дисков все еще хуже. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.10.2015, 15:27:38 |
|
||
|
Проблема с репликацией.
|
|||
|---|---|---|---|
|
#18+
Мне кажется что увеличением ресурсов вы вылечили что то другое. Mysql не должен как то падать если ему не хватает памяти, диска, процессора. У меня была ситуация когда пришлось перейти с мощного сервера (16CPU 24G Ram + внешний дисковый массив с кешем на батарейке) на слабый сервер (4CPU+4GB + локальный рейд из 4х винтов). Так вот Percona Server 5.5 не справлялся с нагрузкой, захлебывался, но как только их выполнял становился опять достаточно отзывчивым. Никаких нестабильностей замечено не было - просто очень медленная работа на никаких ресурсах. Репликация в условиях недостаточных ресурсов говорит что отставания от мастера 0, но в реальности там пропасть. Так что похоже что проблему вы не нашли, готовьтесь к тому, что она вернется. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.10.2015, 05:28:50 |
|
||
|
Проблема с репликацией.
|
|||
|---|---|---|---|
|
#18+
LiveMan, в vmware виртуальный контроллер вместо обычного поведения с бесконечным ожиданием, может и ошибки выдать. А как себя поведет Корпоративная Система Хранения - вообще никому не известно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.10.2015, 11:32:19 |
|
||
|
Проблема с репликацией.
|
|||
|---|---|---|---|
|
#18+
netwind, но ведь тогда будет проблема только с сетью, если сетевой контроллер как то неадекватно работает. А по логам- сервер упал в ошибку самой субд. ТС, посмотрите наличие этих параметров параметры для реплики: my.cnf sync_master_info = 1 sync_relay_log = 1 sync_relay_log_info = 1 На диске, где лежит база и журналы нужно изменить.добавить параметр монтирования раздела в fstab data=journal Эти параметры снизят скорость, но увеличат надежность диска в случае сбоя. Возможно, если сервер каким то чудом рестартнется - дальше сам поднимется и продолжит репликацию. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.10.2015, 06:13:16 |
|
||
|
Проблема с репликацией.
|
|||
|---|---|---|---|
|
#18+
LiveMan, виртуальный контроллер диска я имел ввиду. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.10.2015, 08:01:52 |
|
||
|
Проблема с репликацией.
|
|||
|---|---|---|---|
|
#18+
netwind, это какая то жесть получается. Вряд ли виртуальная машина с такими косяками в виртуальной среде смогла бы долго проработать. да и остальные машины бы с косяками падали. ТС-у: тогда эти опции должны помочь, + errors=remount-ro в таком случае при возникновении ошибки раздел перемонтируется в read-only и не испортит уже записанные данные. В реальности скорее всего - встанет колом и будет ждать рестарта, но пустит админа на консоль и покажет что случилось. И, кстати, забыл упомянуть, что эти опции в fstab легко запихнуть если раздел под базу отдельный. Если раздел единственный или корневой тогда способ не работает. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.10.2015, 08:14:20 |
|
||
|
Проблема с репликацией.
|
|||
|---|---|---|---|
|
#18+
LiveMannetwind, это какая то жесть получается. Вряд ли виртуальная машина с такими косяками в виртуальной среде смогла бы долго проработать. да и остальные машины бы с косяками падали. почему ? это же Энтерпрайз. Пацаны откатили - а пользователи терпят. Нормальная тема. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.10.2015, 08:16:08 |
|
||
|
Проблема с репликацией.
|
|||
|---|---|---|---|
|
#18+
вот тут есть инструкции как правильно терпеть : http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=1009465 или там баги всякие. http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=1030265 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.10.2015, 08:19:45 |
|
||
|
Проблема с репликацией.
|
|||
|---|---|---|---|
|
#18+
netwind, большое спасибо за ссылки. Я так понимаю что баги есть и будут, с ними вряд ли что то можно ЛЕГКО сделать. А вот чтобы правильно терпеть нужно обязательно ставить утилиты виртуализации для гостевой системы. И именно эти утилиты подтянут за собой скрипты и настройки для правильного терпения. а вы как терпите, настраиваете как-то гостевую систему дополнительно ? :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.10.2015, 05:26:58 |
|
||
|
Проблема с репликацией.
|
|||
|---|---|---|---|
|
#18+
LiveMan, не уверен, что дело в этом баге. Это я скорее привожу примеры как виртуальная среда влияет на ввод-вывод. вот еще, например, из старенькой ubuntu https://bugs.launchpad.net/ubuntu/ source/linux/ bug/140032 и https://bugs.launchpad.net/ubuntu/ source/linux-source-2.6.22/ bug/137585 так и не закрытые. В принципе никто в linux не предполагал возникновения такой ситуации. Это ж надо очень сильно нагрузить, чтобы за 60 секунд не было ответов и случился таймаут. Но, допустим, интенсивный бекап других машин такое может вызвать даже без переноса между серверами. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.10.2015, 11:12:01 |
|
||
|
Проблема с репликацией.
|
|||
|---|---|---|---|
|
#18+
netwind, LiveMan.... а вы как терпите, настраиваете как-то гостевую систему дополнительно ? :) Все же хочется увидеть ответ на вопрос. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.11.2015, 10:55:14 |
|
||
|
|

start [/forum/topic.php?fid=47&msg=39083223&tid=1832549]: |
0ms |
get settings: |
10ms |
get forum list: |
14ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
58ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
54ms |
get tp. blocked users: |
1ms |
| others: | 229ms |
| total: | 383ms |

| 0 / 0 |
