Здравствуйте.
Есть большая база данных MySQL
(записей до 10000, но есть большие BLOB-поля, которые нужно изменять,
поэтому база занимает на диске больше 3 Гб).
Нужно реализовать чтение всех записей таблицы
и БЫСТРОЕ изменение BLOB-поля многих записей.
ОБЯЗАТЕЛЬНОЕ ТРЕБОВАНИЕ:
Никакие компоненты для работы с БД, такие как DataSet не используются
(как здесь
http://www.delphikingdom.com/asp/articles_forum.asp?ArticleID=1318 ),
поэтому метод Edit стандартных компонентов для редактирования
текущей записи использовать не получается,
то есть можно использовать MySQL.Query(...) и MySQL.ExecSQL(...).
===
Задачу я решил, но моё решение работает очень медленно:
за 12 часов обработалось примерно 10% базы данных.
И во время работы программы другие программы не могут нормально работать
с этой базой данной, так как всё тормозит
(систему нагружает MySQL - его процесс занимает почти всё процессорное время,
моя программа занимает до 5%).
Прошу предложить оптимизацию моего решения:
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
offset1 := 0; // смещение в результатах поиска
// если использовать "SELECT *" без "LIMIT 10",
// то программе не хватает памяти и она завершается с ошибкой
repeat
query_result := MySQL.Query('SELECT * FROM MyTable LIMIT 10 OFFSET ' + IntToStr(offset1));
if (query_result = nil) or (query_result.RecordCount = 0) then Break;
while query_result.FetchRow do // проходим по записям
begin
mypointer := query_result.ValueByName['IMAGE']; // получили ссылку на BLOB поле
// далее загружаем BLOB-поле в MemoryStream, обрабатываем и
// в новую переменную NewBLOB помещаем новое значение BLOB
// теперь запишем новое значение BLOB в поле
// (каждая запись уникальна по паре значений CODE и NUM)
// СКОРЕЕ ВСЕГО ИМЕННО ЗДЕСЬ НУЖНА ОПТИМИЗАЦИЯ !!!
// я не знаю как изменить текущую запись, поэтому изменение делаю так:
MySQL.ExecSQL('UPDATE MyTable SET MyTable.IMAGE="' + NewBLOB +
'" WHERE CODE = ' + query_result.ValueByName['CODE'] +
' and NUM = ' + query_result.ValueByName['NUM']);
offset1 := offset1 + 10;
until (query_result.RecordCount = 0);
