ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / MySQL [игнор отключен] [закрыт для гостей] / mysql, 200 блогов WP, запись на диск за сутки 2 ТБ.
25 сообщений из 69, страница 2 из 3
  2  все
mysql, 200 блогов WP, запись на диск за сутки 2 ТБ.
    #39394397
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
netwind
Участник
HettБыла подобная проблема, вылечили добавлением памяти
была подобная проблема - вылечилось тем что даже не стали связываться с СЕО-балалайкой.

Люди столько постов не напишут, а парсеры и преумножители бессмысленного контента должны старадать.
...
Рейтинг: 0 / 0
30.01.2017, 10:11
| Ответить | Цитировать | Написать  
mysql, 200 блогов WP, запись на диск за сутки 2 ТБ.
    #39394403
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
HettИ что он туда написывает так активно?

На картинке явно не только запись, но и чтение. И, скорее всего, логическое, а не физическое. Так что она не аргумент.
...
Рейтинг: 0 / 0
30.01.2017, 10:20
| Ответить | Цитировать | Написать  
mysql, 200 блогов WP, запись на диск за сутки 2 ТБ.
    #39394405
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
miksoftHettИ что он туда написывает так активно?

На картинке явно не только запись, но и чтение. И, скорее всего, логическое, а не физическое. Так что она не аргумент.

Там чтения почти нет
Вот iotop
...
Рейтинг: 0 / 0
30.01.2017, 10:27
| Ответить | Цитировать | Написать  
mysql, 200 блогов WP, запись на диск за сутки 2 ТБ.
    #39394409
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
Запись варьируется от 3 до 15 (чаще ближе к нижней отметке)
Раньше, до добавления памяти, было от 30-40 и выше.
...
Рейтинг: 0 / 0
30.01.2017, 10:32
| Ответить | Цитировать | Написать  
mysql, 200 блогов WP, запись на диск за сутки 2 ТБ.
    #39394411
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
Еще такой момент, что если сервис перезапустить, то первое время нагрузка на диск заметно ниже.
...
Рейтинг: 0 / 0
30.01.2017, 10:33
| Ответить | Цитировать | Написать  
mysql, 200 блогов WP, запись на диск за сутки 2 ТБ.
    #39394526
webruk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
webruk
Гость
Попробовал запустить на RAID, результат огорчил, после ССД вообще не вариант, страниц открываются по несколько секунд, дисковые очереди возрастают до 20, да, можно добавить еще дисков, но не думаю, что это решит проблему.
Вот смотрю на такой диск http://www.nix.ru/autocatalog/ssd_intel/SSD-400-Gb-SATA-6Gb-s-Intel-DC-S3710-Series-SSDSC2BA400G401-25-MLC_202396.html У кого-нибудь есть опыт эксплуатации? Заявлено 8 ПБ на запись.
...
Рейтинг: 0 / 0
30.01.2017, 12:39
| Ответить | Цитировать | Написать  
mysql, 200 блогов WP, запись на диск за сутки 2 ТБ.
    #39394528
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
Включи, для начала, запись запросов в лог и проанализируй его.

Что говорит?
Код: plaintext
sysdig -c topfiles_bytes
...
Рейтинг: 0 / 0
30.01.2017, 12:40
| Ответить | Цитировать | Написать  
mysql, 200 блогов WP, запись на диск за сутки 2 ТБ.
    #39394717
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
HettВот iotop
И в нём первой строчкой - mongo. С чего ты начал винить MySQL - непонятно.
...
Рейтинг: 0 / 0
30.01.2017, 14:51
| Ответить | Цитировать | Написать  
mysql, 200 блогов WP, запись на диск за сутки 2 ТБ.
    #39394724
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
Dimitry SibiryakovHettВот iotop
И в нём первой строчкой - mongo. С чего ты начал винить MySQL - непонятно.

Там сортировка по времени, а не по объему. Если внимательно посмотреть, то можно понять почему.
...
Рейтинг: 0 / 0
30.01.2017, 14:54
| Ответить | Цитировать | Написать  
mysql, 200 блогов WP, запись на диск за сутки 2 ТБ.
    #39394726
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
Обвел кружочками куда надо смотреть.
...
Рейтинг: 0 / 0
30.01.2017, 14:55
| Ответить | Цитировать | Написать  
mysql, 200 блогов WP, запись на диск за сутки 2 ТБ.
    #39394730
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
netwind
Участник
webruk, ну какие еще "страницы"? В подфоруме mysql оперируют sql. То есть, вы должны наконец разобраться что запросы генерирует приложение.

Я думаю, у вас парсер слишком активно и глупо записывает в базу. Упоминание таблицы wp_options подсказывает, что тут просто какая-то php-городушка на скорую руку и в ней не потрудились даже создать отдельные таблицы для сущностей, которыми этот парсер оперирует.
Но может и совсем не так все.
...
Рейтинг: 0 / 0
30.01.2017, 14:56
| Ответить | Цитировать | Написать  
mysql, 200 блогов WP, запись на диск за сутки 2 ТБ.
    #39394732
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
netwind,

Ну вообще да, быть может там ОРМ которая обновляет весь объект. И в каком-то плагине криво реализовали пересохранение всего объекта, при, например, апдейте счетчика просмотра. Но все это будет видно в логе запросов, а автор класть на него хотел, он думает какие диски вставить, чтобы работало.
...
Рейтинг: 0 / 0
30.01.2017, 14:58
| Ответить | Цитировать | Написать  
mysql, 200 блогов WP, запись на диск за сутки 2 ТБ.
    #39394738
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
netwind
Участник
Hett, предлагаю ограничить продажу SSD, чтобы разрешение выдавала Специальная Комиссия Академии Спецсвязи ФСБ.
А то получается, глубокая архитектурная проблема была не замечена и позволила нормально эксплуатировать аж 200 сайтов в течении продолжительного времени.
...
Рейтинг: 0 / 0
30.01.2017, 15:02
| Ответить | Цитировать | Написать  
mysql, 200 блогов WP, запись на диск за сутки 2 ТБ.
    #39394752
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
netwindHett, предлагаю ограничить продажу SSD, чтобы разрешение выдавала Специальная Комиссия Академии Спецсвязи ФСБ.
А то получается, глубокая архитектурная проблема была не замечена и позволила нормально эксплуатировать аж 200 сайтов в течении продолжительного времени.

Зачем?
Я это к тому, что надо искать причину проблемы, а не диск, который будет это все вывозить. Хотя, конечно, кому как нравится
...
Рейтинг: 0 / 0
30.01.2017, 15:09
| Ответить | Цитировать | Написать  
mysql, 200 блогов WP, запись на диск за сутки 2 ТБ.
    #39394754
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
Да и количество сайтов это не показатель нагрузки.
...
Рейтинг: 0 / 0
30.01.2017, 15:10
| Ответить | Цитировать | Написать  
mysql, 200 блогов WP, запись на диск за сутки 2 ТБ.
    #39395042
webruk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
webruk
Гость
Я сделал экспорт\импорт всех баз с новым конфигом с включением innodb_file_per_table.
Сейчас сервер активно пишет в 2 файла:

9.09M /home/www2/mysql/ib_logfile0
3.12M /home/www2/mysql/ibdata1

WP без плагинов, чистая установка.

Текущий конфиг:
[mysqld]
user = mysql
pid-file = /var/run/mysqld/mysqld.pid
socket = /var/run/mysqld/mysqld.sock
port = 3306
basedir = /usr
datadir = /home/www2/mysql
tmpdir = /tmp
lc-messages-dir = /usr/share/mysql
bind-address = 0.0.0.0
key_buffer = 32M
max_allowed_packet = 16M
thread_stack = 192K
thread_cache_size = 16
myisam-recover = BACKUP
table_cache = 4096
table_open_cache = 4096
query_cache_type = ON
query_cache_limit = 1G
query_cache_size = 32M

innodb_flush_log_at_trx_commit = 2
innodb_buffer_pool_size = 16G
innodb_log_file_size = 512M
innodb_log_buffer_size = 1G
innodb_file_per_table
log_error = /var/log/mysql/error.log
expire_logs_days = 10
max_binlog_size = 100M
...
Рейтинг: 0 / 0
30.01.2017, 23:32
| Ответить | Цитировать | Написать  
mysql, 200 блогов WP, запись на диск за сутки 2 ТБ.
    #39395106
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
webrukСейчас сервер активно пишет в 2 файла:

9.09M /home/www2/mysql/ib_logfile0
3.12M /home/www2/mysql/ibdata1

Ну вот абсолютно та же картина. Что туда MySQL написывает, одному ему только известно. Журнал, конечно и все такое - я понимаю, но что-от многовато данных пишется.
...
Рейтинг: 0 / 0
31.01.2017, 07:51
| Ответить | Цитировать | Написать  
mysql, 200 блогов WP, запись на диск за сутки 2 ТБ.
    #39395260
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
.
Сейчас сервер активно пишет в 2 файла:

9.09M /home/www2/mysql/ib_logfile0
3.12M /home/www2/mysql/ibdata1

...что не удивительно, это и есть файлы базы данных, лог и сами данные.

в общем, мы выяснили, что СУБД ПИШЕТ ЧТО-ТО В БД - великое открытие, я считаю...
...
Рейтинг: 0 / 0
31.01.2017, 11:28
| Ответить | Цитировать | Написать  
mysql, 200 блогов WP, запись на диск за сутки 2 ТБ.
    #39395264
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
Hett,
так кто его знает, этот WP , Может там логи какие-то свои включены...
...
Рейтинг: 0 / 0
31.01.2017, 11:29
| Ответить | Цитировать | Написать  
mysql, 200 блогов WP, запись на диск за сутки 2 ТБ.
    #39395274
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
netwind
Участник
В общем толку тут не будет поэтому поделюсь собственным Оригинальным Исследованием:

На некоторые модели арендных серверов ставят фиговенькие SSD, но достаточно большого размера. Поэтому я придумал разбивать их особым образом - выделить не очень большой раздел соответственно данным и все остальное место использовать как резервное. Если ОС никогда не писала в эти блоки, то контроллер SSD начинает их использовать в ротации и тем самым общий срок службы повышается. Хорошие SSD от intel так же используют эту технику, но там просто логический размер накопителя меньше чем реальный по маркировке на микросхемах.

Нужно либо сразу новый SSD так разбивать, либо на резервный раздел запустить один раз mkfs.ext4. Программа узнает SSD и сделает сначала на все блоки операцию discard. Можно еще улучшить методику, но реально пройтись один раз mkfs будет вполне достаточно.

Исследование подтверждается экспериментально графиками SMART до и после манипуляций.
...
Рейтинг: 0 / 0
31.01.2017, 11:40
| Ответить | Цитировать | Написать  
mysql, 200 блогов WP, запись на диск за сутки 2 ТБ.
    #39395275
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
MasterZiv.
Сейчас сервер активно пишет в 2 файла:

9.09M /home/www2/mysql/ib_logfile0
3.12M /home/www2/mysql/ibdata1

...что не удивительно, это и есть файлы базы данных, лог и сами данные.

в общем, мы выяснили, что СУБД ПИШЕТ ЧТО-ТО В БД - великое открытие, я считаю...

А разве данные при включенном innodb_file_per_table лежат в ibdata1 ?
...
Рейтинг: 0 / 0
31.01.2017, 11:40
| Ответить | Цитировать | Написать  
mysql, 200 блогов WP, запись на диск за сутки 2 ТБ.
    #39395278
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
авторПоэтому я придумал разбивать их особым образом - выделить не очень большой раздел соответственно данным и все остальное место использовать как резервное.
Да если его на 99% не забивать данными, он и так будет ротировать их прекрасно. Хотя производители рекомендуют оставлять 10% для замены сбойных секторов, тем не менее это не панацея от общего его износа.
...
Рейтинг: 0 / 0
31.01.2017, 11:42
| Ответить | Цитировать | Написать  
mysql, 200 блогов WP, запись на диск за сутки 2 ТБ.
    #39395282
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
авторНужно либо сразу новый SSD так разбивать, либо на резервный раздел запустить один раз mkfs.ext4. Программа узнает SSD и сделает сначала на все блоки операцию discard.
Если там аппаратный массив, то ничего она не узнает.
...
Рейтинг: 0 / 0
31.01.2017, 11:43
| Ответить | Цитировать | Написать  
mysql, 200 блогов WP, запись на диск за сутки 2 ТБ.
    #39395303
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
netwind
Участник
HettавторПоэтому я придумал разбивать их особым образом - выделить не очень большой раздел соответственно данным и все остальное место использовать как резервное.
Да если его на 99% не забивать данными, он и так будет ротировать их прекрасно. Хотя производители рекомендуют оставлять 10% для замены сбойных секторов, тем не менее это не панацея от общего его износа.
Логично. Тут нужно добавить, что с ненадежными SSD частенько используют RAID1 и поэтому при построении массива происходит запись на весь доступный раздел данных для создания полной копии, а раздел надо именно оставить неиспользуемым.

HettЕсли там аппаратный массив, то ничего она не узнает.
поэтому я последовательно выступаю за запрещение аппаратных рейдов. Нет тонкого контроля.
...
Рейтинг: 0 / 0
31.01.2017, 11:52
| Ответить | Цитировать | Написать  
mysql, 200 блогов WP, запись на диск за сутки 2 ТБ.
    #39395481
webruk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
webruk
Гость
MasterZiv,
Нет.
-rw-rw---- 1 mysql mysql 26M янв 31 16:08 ibdata1
-rw-rw---- 1 mysql mysql 512M янв 31 16:08 ib_logfile0
-rw-rw---- 1 mysql mysql 512M янв 31 16:06 ib_logfile1
Данные лежат в папках с названием баз данных, каждая таблица в своем файле и туда почти не пишет.
512 МБ это логи, innodb_log_file_size = 512M
ibdata1 не знаю что такое, но точно не файл с базами данных WP.
...
Рейтинг: 0 / 0
31.01.2017, 14:11
| Ответить | Цитировать | Написать  
25 сообщений из 69, страница 2 из 3
  2  все
Форумы / MySQL [игнор отключен] [закрыт для гостей] / mysql, 200 блогов WP, запись на диск за сутки 2 ТБ.
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]