Здравствуйте,

Хочу попросить помощи, совета у Гуру MySql

Я написал парсер большого источника данных.

Источник парсится каждую минуту.
Парсинг выполняется в 9 потоков.

Результаты записываются в одну сводную таблицу.
Таблица MyIsam
Новые записи вставляются.
Существующие записи обновляются.

В сутки добавляется около 200 тыс. записей.
За 3 дня таблица разрастается до около 700 тыс. записей

Устаревшие записи (старше 3-х дней) переписываются в таблицу с историческими данными
(для каждого дня отдельная таблица).
Затем Устаревшие записи удаляются.
Сохранение и удаление Устаревших записей производится по 200 записей каждую минуту.

У меня периодически (примерно через неделю работы) ломается сводная таблица в базе данных.
Как мне кажется это из-за удаления Устаревших записей.


Я думаю что я почти все сделал неправильно :)

Но как сделать правильно ?

У меня такие варианты решения:
1) Разбить таблицу на несколько по суткам, по часам и использовать MERGE
2) Использование партиций
3) Попытаться избавиться от UPDATE (использовать только INSERT)
4) Использовать InnoDB
5) Использовать memcached

Как Вы думаете какой самый правильный вариант ?
Или какой вариант принесет наибольший выиграш ?

Спасибо.

Устаревшие данные - все данные что были добавлены более 3-х дней назад.
Если я правильно понял вопрос.

Озверинandrey-55555,



https://habr.com/ru/post/66151/ - логические данные те, по которым ваши данные становятся устаревшими. И вроде как все?

Что лучше Партиционирование или отдельные таблицы + MERGE ?
Избавит ли Партиционирование от блокировок при одновременных UPDATE ?

Мне кажется отдельные таблицы + MERGE лучше.
Думаю попробовать таблицу с устаревшими данными переименовывать в таблицу с историческими данными.
А для MERGE создавать новую таблицу.

Или я не прав ?

Всем спасибо, кто принял участие в обсуждении.

Сейчас сделал так.

Для сводной таблицы сделал партицирование
Плюс
Сделал семь таблиц для каждого дня недели.

Данные пишу параллельно в общую сводную таблицу и в таблицу для дня недели.

Для общей сводной таблицы удаляю устаревшие партиции (TURNICATE)
Таблицы для дня недели переименовываю в исторические таблицы и создаю новые таблицы для соответствующего дня недели.

Работает уже несколько дней.
Все нормально.

Для информации алгоритм с удалением по 200 записей выполнялся около 5 сек.
Переименовывание таблиц и удаление устаревших партиций - выполняется доли секунды.



---
В планах попробовать сделать так.
Писать только в таблицы для дня недели и раз в пять минут собирать из них общую сводную таблицу.

Плюсы:
Работа с небольшими отельными таблицами.
Для общей сводной таблицы будут только операции по чтению


Не знаю на сколько быстро будет раз в пять минут собирать общую сводную таблицу размером в 1.1 Гига

Sergueiandrey-55555Здравствуйте,
Я написал парсер большого источника данных.

В сутки добавляется около 200 тыс. записей.
За 3 дня таблица разрастается до около 700 тыс. записей


Вы заблуждаетесь -у вас микроскопический объем данных )

Может быть.
Я первый раз работаю с таким объемом

Отвечаю на предыдущие посты.

Сохранять исторические данные нужно, поэтому:

1.
Изначально решил, что хранить все в одной таблице - не правильно (хотя может я ошибаюсь), так как
- если грохнется вся таблица - потеряются сразу все данные
- таблица будет огромной (6 млн. записей в месяц). Думаю это будет сказываться на быстродействии.

2.
Учитывая пункт 1 первоначально переписывал данные из "оперативной" таблицы (table_1) в историческую (table_2)
при помощи:
INSERT INTO table_2 SELECT * FROM table_1

потом сохраненные данные удалял одним запросом
DELETE FROM table_1

Один раз попробовал сделать сразу для всех устаревших записей.
Сервер завис.

Правда это все я делал не останавливая парсинг.
Может это моя основная ошибка ?