powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Оптимизация SQL базы с 50 миллионами записей
12 сообщений из 12, страница 1 из 1
Оптимизация SQL базы с 50 миллионами записей
    #38411373
altblog
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
CMS: WordPress. В базу добавляются (парсером) новые записи. До 100 тысяч записей скорость добавления новых записей была: ~1000 записей в минуту, после того как было добавлено 100 тысяч записей, скорость добавления записей упала до 200 записей в минуту, т.е. упала в 5 раз.

Сейчас в базе 1,166,298 записей, при этом размер базы: 88.6 МБ. Не много, но скорость добавления новых записей заметно упала. Думаю когда база увеличится в 100 раз, то скорость вообще станет очень маленькой. Парсер собирает данные и вставляет в таблицу через insert, как сказал программист.

Пробовал отключать индексы - не помогло. Уже не знаю, что можно сделать. Могу дать root к доступу к shell.
...
Рейтинг: 0 / 0
Оптимизация SQL базы с 50 миллионами записей
    #38411454
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я бы посоветовал писать данные в файл, а потом грузить пачкой через mysqlimport/LOAD DATA INFILE.

Еще хорошо бы видеть структуру таблицы, индексов, внешних ключей. Есть ли на ней триггеры?
...
Рейтинг: 0 / 0
Оптимизация SQL базы с 50 миллионами записей
    #38411742
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
50 млн сгенерированных записей сеонизаторской заразы должны тормозить. Такой сайт не нужен.

У нормальных сайтов пока естественным образом наберется столько данных, персонал обычно набирается опыта тоже.
...
Рейтинг: 0 / 0
Оптимизация SQL базы с 50 миллионами записей
    #38411762
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
netwind50 млн сгенерированных записей сеонизаторской заразы должны тормозить. Такой сайт не нужен.

У нормальных сайтов пока естественным образом наберется столько данных, персонал обычно набирается опыта тоже.Бывает, что вываливаются уже давно накопленные данные. Например, у меня в предыдущей инкарнации сайта была табличка на 10 миллионов записей, причем все данные были введены руками.

P.S. оффтопим...
...
Рейтинг: 0 / 0
Оптимизация SQL базы с 50 миллионами записей
    #38411794
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
miksoft, но у вас же не было wordpress. А это диагноз. Не поможет ничего. Никакого анализа ситуации, разбора планов запросов и всего что делают вменяемые люди не будет. ТС просто парсит чужие сайты. Программист слепил парсер и больше он им ничего не должен.
Сайт здохнет и хорошо.
...
Рейтинг: 0 / 0
Оптимизация SQL базы с 50 миллионами записей
    #38411920
altblog
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
netwind, не смешите пожалуйста. Зачем кому-то может понадобиться сателлит на миллионы записей. Яндекс их просто не проиндексирует.
...
Рейтинг: 0 / 0
Оптимизация SQL базы с 50 миллионами записей
    #38411931
Фотография ScareCrow
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
altblog Яндекс их просто не проиндексирует.
смеялсо.
...
Рейтинг: 0 / 0
Оптимизация SQL базы с 50 миллионами записей
    #38411935
altblog
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
netwind, ну и в конце концов включите логику и выяснится, что 1 миллион записей, даже 100 тысяч записей с текстом (статьями) не могут занимать в базе 88Мб. И вот ваша догадка о том, что все вокруг плохие и копируют чужой контент — потерпела крах. Модератор: За сим прошу всех завершить с оффтопом и перейти к технической части вопроса.
...
Рейтинг: 0 / 0
Оптимизация SQL базы с 50 миллионами записей
    #38411979
Фотография ScareCrow
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
а вы ТОЧНО уверены что дело в mysql а не в парсере?
...
Рейтинг: 0 / 0
Оптимизация SQL базы с 50 миллионами записей
    #38412028
Arhat109
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ScareCrow,

Дело в построчной записи парсером в БД.

Автору:
Программисту - по ушам, бабло - отобрать взад и пусть пишет нормальный парсер, который будет втыкивать черенз INSERT .. VALUE() пачками управляемого размера (дабы буфер записи забивался ровно одной пачкой). Заодно освоит передачу данных через позиционные и именованные параметры и работу с массивами на ПХП.
...
Рейтинг: 0 / 0
Оптимизация SQL базы с 50 миллионами записей
    #38412307
Electric200
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
И никто не спросил какого рода записи, есть ли блокировки и какой движек стоит. Может у человека MEMORY одна таблица с полной блокировкой.
...
Рейтинг: 0 / 0
Оптимизация SQL базы с 50 миллионами записей
    #38412325
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Electric200И никто не спросил какого рода записи, есть ли блокировки и какой движек стоит. Может у человека MEMORY одна таблица с полной блокировкой.
Потому что это не нужно спрашивать. wordpress означает вполне определенные таблицы и типичные проблемы.
...
Рейтинг: 0 / 0
12 сообщений из 12, страница 1 из 1
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Оптимизация SQL базы с 50 миллионами записей
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]