powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Падает mysql, не могу понять причину
20 сообщений из 20, страница 1 из 1
Падает mysql, не могу понять причину
    #39842758
alkul93
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Добрый день, не сказать что я суперадминистратор, но так вышло что нужно поддерживать один сервис.
И вот каждый день падает бд, помогите плз понять в чем может быть проблема.

Лог ошибок прикладываю:

Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
2019-07-29T06:57:06.898847Z 0 [Note] mysqld (mysqld 5.7.27-0ubuntu0.18.04.1-log) starting as process 29162 ...
2019-07-29T06:57:06.907608Z 0 [Note] InnoDB: PUNCH HOLE support available
2019-07-29T06:57:06.907670Z 0 [Note] InnoDB: Mutexes and rw_locks use GCC atomic builtins
2019-07-29T06:57:06.907677Z 0 [Note] InnoDB: Uses event mutexes
2019-07-29T06:57:06.907682Z 0 [Note] InnoDB: GCC builtin __atomic_thread_fence() is used for memory barrier
2019-07-29T06:57:06.907687Z 0 [Note] InnoDB: Compressed tables use zlib 1.2.11
2019-07-29T06:57:06.907696Z 0 [Note] InnoDB: Using Linux native AIO
2019-07-29T06:57:06.908302Z 0 [Note] InnoDB: Number of pools: 1
2019-07-29T06:57:06.908563Z 0 [Note] InnoDB: Using CPU crc32 instructions
2019-07-29T06:57:06.913022Z 0 [Note] InnoDB: Initializing buffer pool, total size = 128M, instances = 1, chunk size = 128M
2019-07-29T06:57:06.933931Z 0 [Note] InnoDB: Completed initialization of buffer pool
2019-07-29T06:57:06.940242Z 0 [Note] InnoDB: If the mysqld execution user is authorized, page cleaner thread priority can be changed. See the man page of setpriority().
2019-07-29T06:57:06.955156Z 0 [Note] InnoDB: Highest supported file format is Barracuda.
2019-07-29T06:57:06.982793Z 0 [Note] InnoDB: Creating shared tablespace for temporary tables
2019-07-29T06:57:06.982901Z 0 [Note] InnoDB: Setting file './ibtmp1' size to 12 MB. Physically writing the file full; Please wait ...
2019-07-29T06:57:07.012498Z 0 [Note] InnoDB: File './ibtmp1' size is now 12 MB.
2019-07-29T06:57:07.013924Z 0 [Note] InnoDB: 96 redo rollback segment(s) found. 96 redo rollback segment(s) are active.
2019-07-29T06:57:07.013952Z 0 [Note] InnoDB: 32 non-redo rollback segment(s) are active.
2019-07-29T06:57:07.014821Z 0 [Note] InnoDB: 5.7.27 started; log sequence number 282813427
2019-07-29T06:57:07.015397Z 0 [Note] Plugin 'FEDERATED' is disabled.
2019-07-29T06:57:07.015813Z 0 [Note] InnoDB: Loading buffer pool(s) from /var/lib/mysql/ib_buffer_pool
2019-07-29T06:57:07.031544Z 0 [Note] InnoDB: Buffer pool(s) load completed at 190729  6:57:07
2019-07-29T06:57:07.032645Z 0 [Warning] Failed to set up SSL because of the following SSL library error: SSL context is not usable without certificate and private key
2019-07-29T06:57:07.033463Z 0 [Warning] Insecure configuration for --pid-file: Location '/tmp' in the path is accessible to all OS users. Consider choosing a different directory.
2019-07-29T06:57:07.036850Z 0 [Note] Failed to start slave threads for channel ''
2019-07-29T06:57:07.044390Z 0 [Note] mysqld: ready for connections.
Version: '5.7.27-0ubuntu0.18.04.1-log'  socket: '/tmp/tmp.hNWPWNNfZY/mysqld.sock'  port: 0  (Ubuntu)
2019-07-29T06:57:07.737217Z 2 [ERROR] InnoDB: Operating system error number 17 in a file operation.
2019-07-29T06:57:07.737236Z 2 [ERROR] InnoDB: Error number 17 means 'File exists'
2019-07-29T06:57:07.737240Z 2 [Note] InnoDB: Some operating system error numbers are described at http://dev.mysql.com/doc/refman/5.7/en/operating-system-error-codes.html
2019-07-29T06:57:07.737245Z 2 [ERROR] InnoDB: Cannot create file './sys/sys_config.ibd'
2019-07-29T06:57:07.737251Z 2 [ERROR] InnoDB: The file './sys/sys_config.ibd' already exists though the corresponding table did not exist in the InnoDB data dictionary. Have you moved InnoDB .ibd files around without using the SQL commands DISCARD TABLESPACE and IMPORT TABLESPACE, or did mysqld crash in the middle of CREATE TABLE? You can resolve the problem by removing the file './sys/sys_config.ibd' under the 'datadir' of MySQL.
2019-07-29T06:57:07.739827Z 0 [Note] Giving 0 client threads a chance to die gracefully



И да, я вижу что ошибки типа
InnoDB: Cannot create file './sys/sys_config.ibd'

Но я не знаю, т.к. следом сразу идет
The file './sys/sys_config.ibd' already exists

Подскажите в чем может быть проблема?
...
Рейтинг: 0 / 0
Падает mysql, не могу понять причину
    #39842760
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Гипотеза с потолка - в базе sys кто-то пытается создать таблицу sys_config. А файл уже существует.
You can resolve the problem by removing the file './sys/sys_config.ibd' under the 'datadir' of MySQL.
Перед началом любых действий сделайте полную копию всей базы с остановленным MySQL куда-нибудь в сторонку.
...
Рейтинг: 0 / 0
Падает mysql, не могу понять причину
    #39842761
alkul93
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
miksoft,

Дампы бд делаются регулярно, в 12 часов ночи, вопрос остается только в том, какие действия начинать делать?)
...
Рейтинг: 0 / 0
Падает mysql, не могу понять причину
    #39842775
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
alkul93вопрос остается только в том, какие действия начинать делать?)я же специально процитировал.
...
Рейтинг: 0 / 0
Падает mysql, не могу понять причину
    #39842783
alkul93
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
miksoftalkul93вопрос остается только в том, какие действия начинать делать?)я же специально процитировал.

Не пойми меня неправильно, я тоже не могу угадать что ты имел ввиду.
Ты пишешь что кто-то пытается создать таблицу sys_config, можешь мне сказать как/где это посмотреть?
Может быть включить логи запросов или что-то в этом духе.
Mysql падает регулярно в 06.57, уже 2ой день к ряду. Вчера, после падения, включил запись бинарного лога - там тоже пусто.

На сервер есть доступ только у меня, задач в кроне, касающихся mysql - нет, других менеджеров задач тоже нет. Рутовый доступ к mysql так-же есть только у меня, остальные приложения работают под своими пользователями с ограничеными правами для доступа только к своим бд. Они не могут создавать системные таблицы.

Что я еще мог упустить? Или я не правильно понял твой ответ?
...
Рейтинг: 0 / 0
Падает mysql, не могу понять причину
    #39842785
alkul93
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
miksoft,

Извини что сразу перешел на "ты", но у меня сейчас почти час ночи, ошибку до сих пор не нашел, и через 6 часов меня опять ждет треш из кучи звонков и недовольства, поэтому совсем забыл про соблюдение норм приличия.
...
Рейтинг: 0 / 0
Падает mysql, не могу понять причину
    #39842831
Alibek B
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Начать бы следовало с файла '/tmp/tmp.hNWPWNNfZY/mysqld.sock'. Точнее с того, что этот файл уже существует на момент запуска БД, его быть не должно. Скорее всего он имеет права, не позволяющие учетной записи mysql удалить/пересоздать его. Можно попробовать остановить БД, удалить каталог /tmp/tmp.hNWPWNNfZY и попытаться еще раз запустить БД.
Кроме того, не исключено что БД сломалась (наличие non-redo rollback segment). В этом случае возможно самым простым и быстрым будет (раз уж есть бэкапы) просто удалить все базы, пересоздать инстанс mysql и восстановить БД из бэкапа.
...
Рейтинг: 0 / 0
Падает mysql, не могу понять причину
    #39842905
Фотография Akina
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Да при чем тут сокет? Сервер жалится на то, что файл таблицы есть, но в каталоге не зареган.

Остановите сервер. Уберите файл './sys/sys_config.ibd', потом запустите сервер. Файл должен пересоздаться автоматически.
...
Рейтинг: 0 / 0
Падает mysql, не могу понять причину
    #39842912
Alibek B
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ошибка 17 в логе указана сразу после создания сокета и до попытки создания файла sys_config.ibd.
...
Рейтинг: 0 / 0
Падает mysql, не могу понять причину
    #39843007
Фотография Akina
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alibek B. , строка
alkul93
Код: sql
1.
2.
2019-07-29T06:57:07.044390Z 0 [Note] mysqld: ready for connections.
Version: '5.7.27-0ubuntu0.18.04.1-log'  socket: '/tmp/tmp.hNWPWNNfZY/mysqld.sock'  port: 0  (Ubuntu)


это одна строка, а не две. Сервер, выйдя на режим готовности к приёму соединений, тупо сообщает, "Кто я и что я слушаю".

А вот потом (спустя 700 мс) возникает ошибка 17, сервер сообщает сперва только о ней, а потом даёт детали - общение с каким файлом привело к ошибке. И что можно с этим сделать.
...
Рейтинг: 0 / 0
Падает mysql, не могу понять причину
    #39843018
Alibek B
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Понятно.
Тогда видимо да, с сокетом все нормально.
...
Рейтинг: 0 / 0
Падает mysql, не могу понять причину
    #39843065
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
alkul93,

Кстати, а почему сервер вообще стартует? Почему он перед этим был остановлен?
...
Рейтинг: 0 / 0
Падает mysql, не могу понять причину
    #39843206
alkul93
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
miksoft,

Он не был остановлен, это я просто не весь лог скинул, там этот кусок повторяется просто. После остановки я его запускаю вручную:

sudo service mysql restart

После этого он работает какое-то время, а потом в 6.57 снова падает с той же ошибкой. При том не важно, когда я перезапустил его, вот например сегодня в 6.00 я перезагрузил mysql, и все равно в 6.56 тоже самое.

Akina,

Спасибо, сейчас попробовал перенести этот файл, mysql, после запуска, не создал новый файл, но запустился и работает, завтра утром увижу, будут ли проблемы.
...
Рейтинг: 0 / 0
Падает mysql, не могу понять причину
    #39843212
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
alkul93,

Всё же, систематическое падение сервера в одно и то же время намекает, чтобы первопричину поискали более основательно. Возможно, проблема с файлом это лишь следствие.

Не смотрели в системных логах, есть что-нибудь с привязкой к 6:57 или около того?

Да, ещё момент. Дампы, которые в полночь начинаются, к этому времени гарантировано заканчиваются? Кстати, не смотрели, все ли дампы живые и без ошибок полноценно разворачиваются на другом сервере?
...
Рейтинг: 0 / 0
Падает mysql, не могу понять причину
    #39843219
alkul93
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
vkle,

Да, дампы живые, переодически на тестовом сервере разворачиваю, чтобы более-менее актуальные данные на тесте были.
Бекап 100% заканчивается, т.к. занимает от силы 5-7 мин, там очень большие бд.

Cразу подумал про переодичность, из логов смотрел
/var/log/syslog
/var/log/mysql/error.log
/var/log/mysql/mysql-bin.0000xx
/var/log/cron

Также логи nginx и логи самих приложений, ничего критичного нет, да и не критичного, особо нет. Привязки к 06.57 точно нигде нет, кроме mysql логов.

Вот сейчас пишу и думаю, что пишу какой-то бред. Ну не бывает так, чтобы нигде не было записей об ошибках. Рассказал бы мне кто-нибудь про такую ситуацию - я бы не поверил. Так что большое спасибо, что помогаете, я уже готов принять самые безумные идеи) Потому что разумные у меня закончились.
...
Рейтинг: 0 / 0
Падает mysql, не могу понять причину
    #39843235
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
alkul93,

Ситуация выглядит действительно странной на первый взгляд. Однако, когда найдете первоисточник проблемы, объяснение тому не будет каким то сногосшибательным. Скорее, связь между причиной и следствием будет весьма неочевидной. Потому важны любые события, а не только критичные. По времени отметка в логах может быть и раньше (на старте другого процесса) и позже (на окончании) или не быть вовсе. Ещё мешающее событие может быть инициировано откуда-то извне.
Был случай. Ночью формировался отчет. Начало отчета всегда читаемо. Потом иногда, далеко не каждый раз, начиная с какой-то произвольной строки до конца отчета торчали лишь вопросики вместо кириллицы. Номер строки, где начиналась лажа не был постоянен, но всегда лежал где-то в диапазоне порядка 15...30%. Днем можно было запустить отчет хоть тысячу раз - всегда читаемо, ночью - несколько раз в месяц гарантировано с какого-то места лезут вопросики. Искали очень долго и проблема таки оказалась в настройках мускуля. Сможете догадаться, где именно? ;-)
Вот и я офигел. А всё просто в итоге. Как раз во время формирования отчета на сервере выполнялись бэкапы и прочее обслуживание по расписанию - занят он всякими важными делами. В начале скрипта коннект, инициализация, потом в цикле запрос, обработка данных, сохранение в файл. В настройках мускуля idle_time или что-то вроде того было установлено в одну секунду. Когда обработка чуть-чуть бОльшего количества данных, чем в предыдущем запросе в эту секунду не укладывалась, сервер добросовестно закрывал соединение. На следующей итерации цикла клиент автоматически восстанавливал соединение, но SET NAMES не посылал, естественно. Днем же сервер менее загружен, обработка выполнялось гораздо быстрее, потому и никаких проблем не наблюдалось.
Кстати, у мускуля есть свой планировщик заданий (шедулер). Остановлен?
...
Рейтинг: 0 / 0
Падает mysql, не могу понять причину
    #39843252
alkul93
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
vkle]Кстати, у мускуля есть свой планировщик заданий (шедулер). Остановлен?

Если вы про это:

Код: sql
1.
2.
3.
4.
5.
6.
7.
mysql> show variables like 'event_scheduler';
+-----------------+-------+
| Variable_name   | Value |
+-----------------+-------+
| event_scheduler | OFF   |
+-----------------+-------+
1 row in set (0.00 sec)



То да, остановлен, или про что-то другое?
...
Рейтинг: 0 / 0
Падает mysql, не могу понять причину
    #39843298
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
alkul93,

Да, про это.

Кстати, Убунта же. Она в своих корыстных системных целях не использует ли мускуль?

Ещё момент. База `sys` - это системная мускуляческая и `sys_config` - единственная таблица в этой базе. Возможно, с ней что-то не так. Дамп таблицы есть? Я бы, возможно, попробовал удалить эту таблицу и создать ее заново. Только сперва порылся бы в документации по существу вопроса. А то вдруг таблица важная и нельзя такое делать на ходу. Впрочем, если таблица битая, так хуже уж не будет наверно.
...
Рейтинг: 0 / 0
Падает mysql, не могу понять причину
    #39843300
Фотография Akina
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vkle`sys_config` - единственная таблица в этой базе.Эммм... Вы, видимо, никогда не пробовали выполнить
Код: sql
1.
SHOW TABLES FROM sys;


Наверное, пора уже... готовьтесь удивляться.
...
Рейтинг: 0 / 0
Падает mysql, не могу понять причину
    #39843364
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Akina,

Посмотрите и Вы список представлений (VIEW) в этой базе. Удивительно, да? ;-)
А всё дело в том, что в инструкции по SHOW TABLES написано: https://dev.mysql.com/doc/refman/5.7/en/show-tables.html This statement also lists any views in the database.
...
Рейтинг: 0 / 0
20 сообщений из 20, страница 1 из 1
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Падает mysql, не могу понять причину
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]