Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
|
30.09.2013, 09:03:18
|
|||
|---|---|---|---|
|
|||
Оптимизация SQL базы с 50 миллионами записей |
|||
|
#18+
CMS: WordPress. В базу добавляются (парсером) новые записи. До 100 тысяч записей скорость добавления новых записей была: ~1000 записей в минуту, после того как было добавлено 100 тысяч записей, скорость добавления записей упала до 200 записей в минуту, т.е. упала в 5 раз. Сейчас в базе 1,166,298 записей, при этом размер базы: 88.6 МБ. Не много, но скорость добавления новых записей заметно упала. Думаю когда база увеличится в 100 раз, то скорость вообще станет очень маленькой. Парсер собирает данные и вставляет в таблицу через insert, как сказал программист. Пробовал отключать индексы - не помогло. Уже не знаю, что можно сделать. Могу дать root к доступу к shell. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
30.09.2013, 10:32:56
|
|||
|---|---|---|---|
Оптимизация SQL базы с 50 миллионами записей |
|||
|
#18+
Я бы посоветовал писать данные в файл, а потом грузить пачкой через mysqlimport/LOAD DATA INFILE. Еще хорошо бы видеть структуру таблицы, индексов, внешних ключей. Есть ли на ней триггеры? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
30.09.2013, 13:25:43
|
|||
|---|---|---|---|
Оптимизация SQL базы с 50 миллионами записей |
|||
|
#18+
50 млн сгенерированных записей сеонизаторской заразы должны тормозить. Такой сайт не нужен. У нормальных сайтов пока естественным образом наберется столько данных, персонал обычно набирается опыта тоже. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
30.09.2013, 13:39:24
|
|||
|---|---|---|---|
Оптимизация SQL базы с 50 миллионами записей |
|||
|
#18+
netwind50 млн сгенерированных записей сеонизаторской заразы должны тормозить. Такой сайт не нужен. У нормальных сайтов пока естественным образом наберется столько данных, персонал обычно набирается опыта тоже.Бывает, что вываливаются уже давно накопленные данные. Например, у меня в предыдущей инкарнации сайта была табличка на 10 миллионов записей, причем все данные были введены руками. P.S. оффтопим... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
30.09.2013, 13:52:23
|
|||
|---|---|---|---|
Оптимизация SQL базы с 50 миллионами записей |
|||
|
#18+
miksoft, но у вас же не было wordpress. А это диагноз. Не поможет ничего. Никакого анализа ситуации, разбора планов запросов и всего что делают вменяемые люди не будет. ТС просто парсит чужие сайты. Программист слепил парсер и больше он им ничего не должен. Сайт здохнет и хорошо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
30.09.2013, 14:59:40
|
|||
|---|---|---|---|
|
|||
Оптимизация SQL базы с 50 миллионами записей |
|||
|
#18+
netwind, не смешите пожалуйста. Зачем кому-то может понадобиться сателлит на миллионы записей. Яндекс их просто не проиндексирует. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
30.09.2013, 15:07:20
|
|||
|---|---|---|---|
Оптимизация SQL базы с 50 миллионами записей |
|||
|
#18+
altblog Яндекс их просто не проиндексирует. смеялсо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
30.09.2013, 15:08:17
|
|||
|---|---|---|---|
|
|||
Оптимизация SQL базы с 50 миллионами записей |
|||
|
#18+
netwind, ну и в конце концов включите логику и выяснится, что 1 миллион записей, даже 100 тысяч записей с текстом (статьями) не могут занимать в базе 88Мб. И вот ваша догадка о том, что все вокруг плохие и копируют чужой контент — потерпела крах. Модератор: За сим прошу всех завершить с оффтопом и перейти к технической части вопроса. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
30.09.2013, 15:41:28
|
|||
|---|---|---|---|
Оптимизация SQL базы с 50 миллионами записей |
|||
|
#18+
а вы ТОЧНО уверены что дело в mysql а не в парсере? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
30.09.2013, 16:09:54
|
|||
|---|---|---|---|
Оптимизация SQL базы с 50 миллионами записей |
|||
|
#18+
ScareCrow, Дело в построчной записи парсером в БД. Автору: Программисту - по ушам, бабло - отобрать взад и пусть пишет нормальный парсер, который будет втыкивать черенз INSERT .. VALUE() пачками управляемого размера (дабы буфер записи забивался ровно одной пачкой). Заодно освоит передачу данных через позиционные и именованные параметры и работу с массивами на ПХП. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
30.09.2013, 19:55:03
|
|||
|---|---|---|---|
|
|||
Оптимизация SQL базы с 50 миллионами записей |
|||
|
#18+
И никто не спросил какого рода записи, есть ли блокировки и какой движек стоит. Может у человека MEMORY одна таблица с полной блокировкой. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
30.09.2013, 20:26:44
|
|||
|---|---|---|---|
Оптимизация SQL базы с 50 миллионами записей |
|||
|
#18+
Electric200И никто не спросил какого рода записи, есть ли блокировки и какой движек стоит. Может у человека MEMORY одна таблица с полной блокировкой. Потому что это не нужно спрашивать. wordpress означает вполне определенные таблицы и типичные проблемы. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
start [/forum/topic.php?fid=47&mobile=1&tid=1835952]: |
0ms |
get settings: |
6ms |
get forum list: |
11ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
34ms |
get topic data: |
7ms |
get forum data: |
2ms |
get page messages: |
28ms |
get tp. blocked users: |
1ms |
| others: | 219ms |
| total: | 314ms |
| 0 / 0 |
