ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Быстрое попеременное чтение и изменение BLOB-записей таблицы в базе данных MySQL
25 сообщений из 85, страница 3 из 4
  3  все
Быстрое попеременное чтение и изменение BLOB-записей таблицы в базе данных MySQL
    #38618650
useronforum
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
useronforum
Гость
В общем после оптимизации всё стало намного медленнее работать.
1 запись изменяется по 2 минуты.
И за месяц так не обработается.


Я везде комментарии с сообщениями поставил.
Тормозит запрос
Код: pascal
1.
2.
3.
4.
5.
6.
      query_result_image := MySQL.Query(
        'SELECT IMAGE FROM MyTable' +
        ' WHERE CODE = ' + query_result.ValueByName['CODE'] +
        ' and NUM = ' + query_result.ValueByName['NUM'] +
        ' ORDER BY BARCODE, PHOTO_NUM, DATE_INS'
        );



Думаю сортировка по индексу не применяется,
и тратятся ресурсы на поддержку сортировки по 3 полям,
хотя ЭТОТ ЗАПРОС ВСЕГДА ВОЗВРАЩАЕТ 1 ЗАПИСЬ (200 Кб - 3 Мб).
Наверно лучше без сортировки.

А есть ли метод "FIND FIRST" в языке SQL чтобы использовать вместо SELECT многих записей?

И какой наиболее быстрый способ загрузки BLOB-поля из файла,
с учётом, что я могу программу локально на сервере запустить?

===
Подозреваю, что есть какое-то ограничение на скорость передачи данных,
ведь все данные передаются по сетевому протоколу хоть и внутри 1 компьютера,
а интернет у нас не быстрый).
...
Рейтинг: 0 / 0
18.04.2014, 12:50:46
| Ответить | Цитировать | Написать  
Быстрое попеременное чтение и изменение BLOB-записей таблицы в базе данных MySQL
    #38618701
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
useronforumТормозит запрос
Код: pascal
1.
2.
3.
4.
5.
6.
      query_result_image := MySQL.Query(
        'SELECT IMAGE FROM MyTable' +
        ' WHERE CODE = ' + query_result.ValueByName['CODE'] +
        ' and NUM = ' + query_result.ValueByName['NUM'] +
        ' ORDER BY BARCODE, PHOTO_NUM, DATE_INS'
        );

Знаете... мои нервы хоть и были отмечены выше, но они тоже заканчиваются.
Зачем здесь вообще сортировка?
Уберите сортировку, соберите запрос в строковую переменную, выведите ее на экран или еще куда-нибудь. Затем подключитесь к MySQL консольным или GUI-клиентом или PHPMyAdmin-ом и посмотрите план этого запроса. После этого показывайте нам запрос и его план.
...
Рейтинг: 0 / 0
18.04.2014, 13:16:31
| Ответить | Цитировать | Написать  
Быстрое попеременное чтение и изменение BLOB-записей таблицы в базе данных MySQL
    #38618825
useronforum
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
useronforum
Гость
Сортировку убрал, скорость почти не изменилась.

Но когда добавил "LIMIT 1" скорость заметно возросла
(но сильно уменьшается при приближении к концу таблицы)

авторЗатем подключитесь к MySQL консольным или GUI-клиентом или PHPMyAdmin-ом и посмотрите план этого запроса. После этого показывайте нам запрос и его план.
Это как?
...
Рейтинг: 0 / 0
18.04.2014, 14:32:16
| Ответить | Цитировать | Написать  
Быстрое попеременное чтение и изменение BLOB-записей таблицы в базе данных MySQL
    #38618864
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
useronforumНо когда добавил "LIMIT 1" скорость заметно возрослаЛибо вы что-то путаете, либо изначальная установка "каждая запись уникальна по паре значений CODE и NUM" неверна.
...
Рейтинг: 0 / 0
18.04.2014, 14:50:50
| Ответить | Цитировать | Написать  
Быстрое попеременное чтение и изменение BLOB-записей таблицы в базе данных MySQL
    #38618869
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
useronforumЭто как?Посмотреть план запроса можно, например, добавив перед ним слово EXPLAIN.
...
Рейтинг: 0 / 0
18.04.2014, 14:51:37
| Ответить | Цитировать | Написать  
Быстрое попеременное чтение и изменение BLOB-записей таблицы в базе данных MySQL
    #38618893
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
и покажи код по аналогии с 1 постом
в чем тормоза?
в обработке дельфи или mysql сервера?
можешь / умеешь пользоваться пошаговой отладкой?
поставь таймеры - определи какой кусок кода работает дольше

авторНо когда добавил "LIMIT 1" скорость заметно возросла
ты что-то скрываешь
...
Рейтинг: 0 / 0
18.04.2014, 15:05:14
| Ответить | Цитировать | Написать  
Быстрое попеременное чтение и изменение BLOB-записей таблицы в базе данных MySQL
    #38618951
useronforum
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
useronforum
Гость
Код: pascal
1.
2.
3.
4.
SELECT IMAGE FROM MyTable' +
        ' WHERE CODE = ' + query_result.ValueByName['CODE'] +
        ' and NUM = ' + query_result.ValueByName['NUM'] +
        ' LIMIT 1'



EXPLAIN
Код: pascal
1.
2.
3.
4.
5.
6.
7.
8.
table: "MyTable"
type: "ALL"
possible_keys: "PRIMARY,CODE"
key: ""
key_len: ""
ref: ""
rows: "51956"
Extra: "Using where"



Смущает rows. В таблице меньше записей кажется.

авторавторНо когда добавил "LIMIT 1" скорость заметно возросла
Либо вы что-то путаете, либо изначальная установка "каждая запись уникальна по паре значений CODE и NUM" неверна.
Уникальна практически, но как уникальная возможно не установлена (как ключ).

авторможешь / умеешь пользоваться пошаговой отладкой?
поставь таймеры - определи какой кусок кода работает дольше
Использую. С их помощью определил, что именно этот запрос тормозит.
...
Рейтинг: 0 / 0
18.04.2014, 15:38:39
| Ответить | Цитировать | Написать  
Быстрое попеременное чтение и изменение BLOB-записей таблицы в базе данных MySQL
    #38619004
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
так проверь
Код: sql
1.
2.
SELECT IMAGE FROM MyTable' +
        ' WHERE CODE = ' + query_result.ValueByName['CODE']



и соответсвенно поправиь везде

и код приведи с делфи
...
Рейтинг: 0 / 0
18.04.2014, 16:17:14
| Ответить | Цитировать | Написать  
Быстрое попеременное чтение и изменение BLOB-записей таблицы в базе данных MySQL
    #38619011
useronforum
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
useronforum
Гость
вадя,
Не правильно.
Есть записи с одинаковым CODE, но разным NUM.
...
Рейтинг: 0 / 0
18.04.2014, 16:24:53
| Ответить | Цитировать | Написать  
Быстрое попеременное чтение и изменение BLOB-записей таблицы в базе данных MySQL
    #38619031
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
useronforumEXPLAIN
Код: pascal
1.
2.
3.
4.
5.
6.
7.
8.
table: "MyTable"
type: "ALL"
possible_keys: "PRIMARY,CODE"
key: ""
key_len: ""
ref: ""
rows: "51956"
Extra: "Using where"


Смущает rows. В таблице меньше записей кажется.useronforumПро ключи узнал:
PRIMARY KEY (`CODE`,`NUM`,`DATE1`).Не верю.
Либо ключа нет, либо он не такой, либо запрос не такой. Покажите итоговый запрос, а не выражение, его вычисляющее.

P.S. Количество записей примерное, это оценка.
...
Рейтинг: 0 / 0
18.04.2014, 16:45:26
| Ответить | Цитировать | Написать  
Быстрое попеременное чтение и изменение BLOB-записей таблицы в базе данных MySQL
    #38619032
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
выложи DDL таблицы MyTable
...
Рейтинг: 0 / 0
18.04.2014, 16:45:50
| Ответить | Цитировать | Написать  
Быстрое попеременное чтение и изменение BLOB-записей таблицы в базе данных MySQL
    #38619065
useronforum
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
useronforum
Гость
авторавторПро ключи узнал:
PRIMARY KEY (`CODE`,`NUM`,`DATE1`).
Не верю.
Либо ключа нет, либо он не такой, либо запрос не такой. Покажите итоговый запрос, а не выражение, его вычисляющее.
Посмотрел сторонней программой. Пишет:
Indexes: CODE
Fields: CODE
Index method: BTREE

Foreign keys:
Name: photo
Fields: CODE

Ранее смотрел другой программой, там по другому кажется написано было,
но я тогда мог перепутать индекс с текущей сортировкой.

Попробую сортировку по CODE.

===
Обнаружил триггер на таблице:

В OnUpdate таблицы:
BEGIN
UPDATE `list` SET `posted` = 0 WHERE CODE = NEW.`CODE`;
END


Казалось бы проблема найдена,
НО тормозит чтение BLOB-поля, а не запись нового значения его.

Или теоретически возможно, что я отправляю update,
а когда следом читаю SELECT, то MySQL ещё выполняет этот триггер,
и поэтому тормозит загрузка данных?

===
А возможно ли временно отключить триггер,
а потом включить не удаляя?
Если да, то как?
...
Рейтинг: 0 / 0
18.04.2014, 17:15:58
| Ответить | Цитировать | Написать  
Быстрое попеременное чтение и изменение BLOB-записей таблицы в базе данных MySQL
    #38619066
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
useronforum,

покажите результат запроса CREATE TABLE MyTable
...
Рейтинг: 0 / 0
18.04.2014, 17:18:11
| Ответить | Цитировать | Написать  
Быстрое попеременное чтение и изменение BLOB-записей таблицы в базе данных MySQL
    #38619086
useronforum
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
useronforum
Гость
Я такой запрос выполнить не могу.
...
Рейтинг: 0 / 0
18.04.2014, 17:29:08
| Ответить | Цитировать | Написать  
Быстрое попеременное чтение и изменение BLOB-записей таблицы в базе данных MySQL
    #38619111
useronforum
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
useronforum
Гость
А можно ли создать триггеры через SQL-запрос?

А то я их отключил, а они удалились при этом.
(копию их кода я из резервной копии потом попробую восстановить.)
...
Рейтинг: 0 / 0
18.04.2014, 17:44:55
| Ответить | Цитировать | Написать  
Быстрое попеременное чтение и изменение BLOB-записей таблицы в базе данных MySQL
    #38619125
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
useronforumЯ такой запрос выполнить не могу.Что мешает?
...
Рейтинг: 0 / 0
18.04.2014, 17:54:02
| Ответить | Цитировать | Написать  
Быстрое попеременное чтение и изменение BLOB-записей таблицы в базе данных MySQL
    #38619126
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
useronforumА можно ли создать триггеры через SQL-запрос?

А то я их отключил, а они удалились при этом.
(копию их кода я из резервной копии потом попробую восстановить.)Отключения триггеров в MySQL нет, только удаление и создание.

Триггера только через SQL-запрос и можно создать, иначе никак.

Но это явно не причина медленного чтения из таблицы. Причина - отсутствие подходящего индекса.
...
Рейтинг: 0 / 0
18.04.2014, 17:55:36
| Ответить | Цитировать | Написать  
Быстрое попеременное чтение и изменение BLOB-записей таблицы в базе данных MySQL
    #38619146
useronforum
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
useronforum
Гость
А может индекс временно создать,
обработать все BLOB и индекс удалить?

===
Долго ли будет создаваться индекс для БД 3 Гб и как узнать,
что он создался и все записи проиндексированы?
...
Рейтинг: 0 / 0
18.04.2014, 18:13:51
| Ответить | Цитировать | Написать  
Быстрое попеременное чтение и изменение BLOB-записей таблицы в базе данных MySQL
    #38619154
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
useronforumА может индекс временно создать,
обработать все BLOB и индекс удалить?Можно и так, если обработка нужна один раз, а не регулярно.
useronforumДолго ли будет создаваться индекс для БД 3 Гбдостаточно быстро, сам индекс-то получится маленький.
useronforumкак узнать,
что он создался и все записи проиндексированы?Выдаст в конце "ОК", значит все записи проиндексированы. В противном случае выдаст ошибку.
...
Рейтинг: 0 / 0
18.04.2014, 18:21:43
| Ответить | Цитировать | Написать  
Быстрое попеременное чтение и изменение BLOB-записей таблицы в базе данных MySQL
    #38619162
useronforum
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
useronforum
Гость
А какие запросы к БД создают триггер и индекс?

Напишите примеры запроса для MySQL, чтобы мне долго не искать.
...
Рейтинг: 0 / 0
18.04.2014, 18:38:44
| Ответить | Цитировать | Написать  
Быстрое попеременное чтение и изменение BLOB-записей таблицы в базе данных MySQL
    #38619165
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
miksoftuseronforumЯ такой запрос выполнить не могу.Что мешает?
?????
...
Рейтинг: 0 / 0
18.04.2014, 18:42:24
| Ответить | Цитировать | Написать  
Быстрое попеременное чтение и изменение BLOB-записей таблицы в базе данных MySQL
    #38619169
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
useronforumА какие запросы к БД создают триггер и индекс?

Напишите примеры запроса для MySQL, чтобы мне долго не искать.А вы ищите быстро :)
У MySQL вполне приличная документация и она неплохо структурирована.
CREATE TRIGGER
Trigger Syntax and Examples
...
Рейтинг: 0 / 0
18.04.2014, 18:48:45
| Ответить | Цитировать | Написать  
Быстрое попеременное чтение и изменение BLOB-записей таблицы в базе данных MySQL
    #38619178
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
скачай db forge и не майся
...
Рейтинг: 0 / 0
18.04.2014, 18:57:25
| Ответить | Цитировать | Написать  
Быстрое попеременное чтение и изменение BLOB-записей таблицы в базе данных MySQL
    #38619240
useronforum
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
useronforum
Гость
В общем одной программой удалил триггеры,
а создать заново она их не может.

Пришлось другой создавать (HeidiSQL).

К счастью создались.

===
Про индексы:

Программа пишет:
Код: pascal
1.
2.
3.
	PRIMARY KEY (`CODE`, `NUM`, `DATE1`),
	INDEX `CODE` (`CODE`),
	CONSTRAINT `photo` FOREIGN KEY (`CODE`) REFERENCES `code` (`CODE`)



А как в SQL запросе сказать, что нужно использовать индекс?
...
Рейтинг: 0 / 0
18.04.2014, 20:23:52
| Ответить | Цитировать | Написать  
Быстрое попеременное чтение и изменение BLOB-записей таблицы в базе данных MySQL
    #38619254
useronforum
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
useronforum
Гость
В общем запрос теперь такой:
Код: pascal
1.
2.
3.
4.
5.
6.
      query_result_image := MySQL.Query(
        'SELECT IMAGE FROM MyTable' +
        ' WHERE CODE = ' + query_result.ValueByName['CODE'] +
        ' and NUM = ' + query_result.ValueByName['NUM'] +
        ' ORDER BY CODE, NUM LIMIT 1'
        );



Создал дополнительный индекс CODE_NUM по полям CODE, NUM,
но это судя по всему не повлияло.

Но при использовании ORDER BY CODE, NUM
EXPLAIN стало возвращать:
Код: pascal
1.
2.
3.
4.
5.
6.
7.
table: "MyTable"
type: "index"
possible_keys: "PRIMARY,CODE_NUM,CODE"
key: "PRIMARY"
key_len: "39"
ref: "" / rows: "52860"
Extra: "Using where"



Завтра опять буду пробовать на настоящей базе данных.
...
Рейтинг: 0 / 0
18.04.2014, 21:11:20
| Ответить | Цитировать | Написать  
25 сообщений из 85, страница 3 из 4
  3  все
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Быстрое попеременное чтение и изменение BLOB-записей таблицы в базе данных MySQL
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=47&msg=38618864&tid=1834940]:
 0ms
get settings:
 9ms
get forum list:
 18ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 37ms
get topic data:
 8ms
get forum data:
 2ms
get page messages:
 72ms
get tp. blocked users:
 1ms
others: 198ms
total:  351ms
созд. / загр.: 351ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]