ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / MySQL [игнор отключен] [закрыт для гостей] / помогите оптимизировать запрос для больших данных.
19 сообщений из 19, страница 1 из 1
помогите оптимизировать запрос для больших данных.
    #38600460
victor79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
victor79
Гость
Код: sql
1.
2.
UPDATE _props p
SET id_val=(SELECT id FROM vals v WHERE v.crc = p.crc and v.val = p.val LIMIT 1)



все бы ничего, но в таблице _props 50млн записей. В vals 10млн. И это не предел.

Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
CREATE TEMPORARY TABLE _props (
id_obj int,
id_prop int,
ord_val tinyint,
crc int,
val blob,
id_val int)

CREATE TABLE vals (
id INT AUTO_INCREMENT,
crc int,
val blob,
PRIMARY KEY (id),
INDEX (crc))
...
Рейтинг: 0 / 0
31.03.2014, 08:11:24
| Ответить | Цитировать | Написать  
помогите оптимизировать запрос для больших данных.
    #38600481
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
victor79,

И ты, конечно же, хочешь обязательно изменить сразу все 50 миллионов записей, так?
...
Рейтинг: 0 / 0
31.03.2014, 09:10:51
| Ответить | Цитировать | Написать  
помогите оптимизировать запрос для больших данных.
    #38600673
victor79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
victor79
Гость
MasterZivИ ты, конечно же, хочешь обязательно изменить сразу все 50 миллионов записей, так?

хм. Ты хочешь сказать, что менять их по одной и в цикле будет быстрее и правильней? что нужно типа так:
Код: sql
1.
2.
3.
UPDATE _props p
SET id_val=(SELECT id FROM vals v WHERE v.crc = p.crc and v.val = p.val LIMIT 1)
LIMIT 1


Возможно ты и прав. Это даст возможность прикрутить к программе бегунок прогресса.
...
Рейтинг: 0 / 0
31.03.2014, 12:28:00
| Ответить | Цитировать | Написать  
помогите оптимизировать запрос для больших данных.
    #38600708
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
victor79Ты хочешь сказать, что менять их по одной и в цикле будет быстрее и правильней?Нет, вопрос в том, действительно ли нужно менять все 50 миллионов записей?
...
Рейтинг: 0 / 0
31.03.2014, 12:55:26
| Ответить | Цитировать | Написать  
помогите оптимизировать запрос для больших данных.
    #38600726
Gijad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gijad
Участник
Код: sql
1.
2.
3.
UPDATE _props p
SET id_val=(SELECT id FROM vals v WHERE v.crc = p.crc and v.val = p.val LIMIT 1)
LIMIT 1


Этот запрос может не дать того, чего ожидает автор. Limit без Order by может давать разные результаты.
...
Рейтинг: 0 / 0
31.03.2014, 13:09:16
| Ответить | Цитировать | Написать  
помогите оптимизировать запрос для больших данных.
    #38600743
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
Gijad
Код: sql
1.
2.
3.
UPDATE _props p
SET id_val=(SELECT id FROM vals v WHERE v.crc = p.crc and v.val = p.val LIMIT 1)
LIMIT 1



Этот запрос может не дать того, чего ожидает автор. Limit без Order by может давать разные результаты.Точнее так - из-за внешнего LIMIT 1 этот запрос не может дать того, чего ожидает автор.
...
Рейтинг: 0 / 0
31.03.2014, 13:15:00
| Ответить | Цитировать | Написать  
помогите оптимизировать запрос для больших данных.
    #38600913
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
victor79хм. Ты хочешь сказать, что менять их по одной и в цикле будет быстрее и правильней?

Не правильнее, а единственно возможно. Всю таблицу ты не изменишь одним оператором -- сервак твой лопнет.

И не по одной, а порциями, по несколько тыщ.
...
Рейтинг: 0 / 0
31.03.2014, 14:51:10
| Ответить | Цитировать | Написать  
помогите оптимизировать запрос для больших данных.
    #38600930
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
MasterZivvictor79хм. Ты хочешь сказать, что менять их по одной и в цикле будет быстрее и правильней?

Не правильнее, а единственно возможно. Всю таблицу ты не изменишь одним оператором -- сервак твой лопнет.С чего бы ему лопаться?
Если никакая другая сессия не упрется в заблокированную таблицу, то не вижу ничего страшного.
...
Рейтинг: 0 / 0
31.03.2014, 14:56:53
| Ответить | Цитировать | Написать  
помогите оптимизировать запрос для больших данных.
    #38601009
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
miksoft,

Лог переполнится.
...
Рейтинг: 0 / 0
31.03.2014, 15:48:11
| Ответить | Цитировать | Написать  
помогите оптимизировать запрос для больших данных.
    #38601016
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
MasterZivmiksoft,

Лог переполнится.А есть ли он?
...
Рейтинг: 0 / 0
31.03.2014, 15:52:34
| Ответить | Цитировать | Написать  
помогите оптимизировать запрос для больших данных.
    #38601038
Gijad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gijad
Участник
50kk строк для mysql вообще не объем. У меня 1,6kkk апдейтил никаких сложностей, движ myisam.
...
Рейтинг: 0 / 0
31.03.2014, 16:09:33
| Ответить | Цитировать | Написать  
помогите оптимизировать запрос для больших данных.
    #38601040
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
GijadУ меня 1,6kkk апдейтил никаких сложностей, движ myisam.так там лога никакого нет
...
Рейтинг: 0 / 0
31.03.2014, 16:10:46
| Ответить | Цитировать | Написать  
помогите оптимизировать запрос для больших данных.
    #38601123
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
miksoftMasterZivmiksoft,

Лог переполнится.А есть ли он?

лог всегда есть в БД.
...
Рейтинг: 0 / 0
31.03.2014, 16:56:31
| Ответить | Цитировать | Написать  
помогите оптимизировать запрос для больших данных.
    #38601130
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
MasterZivmiksoftпропущено...
А есть ли он?

лог всегда есть в БД.У MyISAM лог? откуда?
...
Рейтинг: 0 / 0
31.03.2014, 17:00:38
| Ответить | Цитировать | Написать  
помогите оптимизировать запрос для больших данных.
    #38601439
victor79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
victor79
Гость
глупый ваш майскууль. Не может выполнить простой запрос:
Код: sql
1.
2.
3.
SELECT p.id_obj, p.id_prop, p.ord_val, p.crc, p.val, v.id
FROM _props p LEFT JOIN vals v FORCE INDEX (crc)
ON p.crc = v.crc AND p.val = v.val


при количестве записей в _props всего ОДНА ТЫСЯЧА (тестовые данные), и по индексу crc повторений практически нету, а потому не важно, что в vals 5млн записей. Аксес был умней, но он запнулся на каких-то блокировках транзакций при милионе в _props в подобном запросе, а на статысячах пахал нормально.
...
Рейтинг: 0 / 0
01.04.2014, 00:37:35
| Ответить | Цитировать | Написать  
помогите оптимизировать запрос для больших данных.
    #38601455
tanglir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tanglir
Участник
victor79глупый ваш майскуульну тогда используйте фвмас, что вам мешает?
и зачем LEFT join? обычный чем не подошёл?
да и вообще с чего вы взяли, что запросы в первом и последнем постах будут делать одно и то же?
...
Рейтинг: 0 / 0
01.04.2014, 05:17:33
| Ответить | Цитировать | Написать  
помогите оптимизировать запрос для больших данных.
    #38601483
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
miksoftMasterZivпропущено...


лог всегда есть в БД.У MyISAM лог? откуда?


А кто сказал, что это MyISAM?
...
Рейтинг: 0 / 0
01.04.2014, 07:34:01
| Ответить | Цитировать | Написать  
помогите оптимизировать запрос для больших данных.
    #38601484
victor79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
victor79
Гость
tanglirи зачем LEFT join? обычный чем не подошёл?
да и вообще с чего вы взяли, что запросы в первом и последнем постах будут делать одно и то же?
у меня не для всех значений есть id_val, для которых нету, это внутренние идентификаторы в поступившей загружаемой таблице, и они будут заменяться на другие значения в процессе загрузки.

А исходя из того, что у меня не для всех есть id_val, то мне и нужен именно LEFT JOIN а не INNER.

А проставлять ли id_val в первую таблицу или скомпоновать и залить в новую - меня любой бы вариант устроил, если бы работал.
...
Рейтинг: 0 / 0
01.04.2014, 07:45:12
| Ответить | Цитировать | Написать  
помогите оптимизировать запрос для больших данных.
    #38601487
tanglir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tanglir
Участник
victor79у меня не для всех значений есть id_val, для которых нету, это внутренние идентификаторы в поступившей загружаемой таблице, и они будут заменяться на другие значения в процессе загрузки .Замечательно, значит, в процессе обновления их можно пропустить... или принципиально важно заменять их null-ами?
victor79А проставлять ли id_val в первую таблицу или скомпоновать и залить в новую - меня любой бы вариант устроил, если бы работал.Речь была не о том.
Этот запрос на выборку "аналогичен" первому апдейту
Код: sql
1.
2.
3.
SELECT p.*
 ,(SELECT id FROM vals v WHERE v.crc = p.crc and v.val = p.val LIMIT 1) val_id
FROM _props p

, а вот этот - второму
Код: sql
1.
2.
3.
4.
SELECT p.*
 ,v.id val_id
FROM _props p 
LEFT JOIN vals v FORCE INDEX (crc) ON p.crc = v.crc AND p.val = v.val

Если пары (crc,val) в таблице vals неуникальны (а их уникальность тут вроде бы не озвучивалась; более того, исходя из наличия "limit 1" в первом запросе можно предположить, что её таки нет), то запросы неравнозначны.
И если уж таблицы связываются по парам (crc,val), то и индекс надо делать по паре полей, а не по одному.
...
Рейтинг: 0 / 0
01.04.2014, 08:03:21
| Ответить | Цитировать | Написать  
19 сообщений из 19, страница 1 из 1
Форумы / MySQL [игнор отключен] [закрыт для гостей] / помогите оптимизировать запрос для больших данных.
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=47&msg=38600726&tid=1835041]:
 0ms
get settings:
 5ms
get forum list:
 13ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 63ms
get topic data:
 10ms
get forum data:
 3ms
get page messages:
 53ms
get tp. blocked users:
 1ms
others: 197ms
total:  351ms
созд. / загр.: 351ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]