|
Изменить все строки поля типа integer на заданную величину максимально быстро
|
|||
---|---|---|---|
#18+
Есть ли варианты за исключением Код: sql 1. 2. 3.
Поле не ключевое, в БД порядка 200 тыс. записей, операция на копии выполняется уже почти 5 часов и неизвестно сколько еще продлится, а нужно намного быстрее Либо еще вариант создать новое поле id2 = id + 50 Главное условие - сделать это максимально быстро, скажем за 5 минут, а не 5 часов, так как БД почти все время в работе Есть такая возможность в принципе или нет? ... |
|||
:
Нравится:
Не нравится:
|
|||
25.04.2018, 20:50 |
|
Изменить все строки поля типа integer на заданную величину максимально быстро
|
|||
---|---|---|---|
#18+
арт2010в БД порядка 200 тыс. записей, операция на копии выполняется уже почти 5 часов Что-то ты явно делаешь неправильно. Даже на миллионе записей эта операция не должна занимать больше пяти-десяти минут. Надеюсь, показанный запрос - чисто для примера и на самом деле ты такую глупость не делаешь?.. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
25.04.2018, 20:53 |
|
Изменить все строки поля типа integer на заданную величину максимально быстро
|
|||
---|---|---|---|
#18+
Dimitry Sibiryakov, именно так и делаю. Похоже зацикливание? ... |
|||
:
Нравится:
Не нравится:
|
|||
25.04.2018, 20:57 |
|
Изменить все строки поля типа integer на заданную величину максимально быстро
|
|||
---|---|---|---|
#18+
арт2010, добавь order by id, или переходи на 3-ку ... |
|||
:
Нравится:
Не нравится:
|
|||
25.04.2018, 20:59 |
|
Изменить все строки поля типа integer на заданную величину максимально быстро
|
|||
---|---|---|---|
#18+
арт2010именно так и делаю. Похоже зацикливание? Зачем for select, имеется ввиду. Почему не просто update? ... |
|||
:
Нравится:
Не нравится:
|
|||
25.04.2018, 21:08 |
|
Изменить все строки поля типа integer на заданную величину максимально быстро
|
|||
---|---|---|---|
#18+
Код: sql 1. 2. 3.
... |
|||
:
Нравится:
Не нравится:
|
|||
25.04.2018, 21:30 |
|
Изменить все строки поля типа integer на заданную величину максимально быстро
|
|||
---|---|---|---|
#18+
А если "с контрольным в голову": Код: sql 1. 2. 3.
... |
|||
:
Нравится:
Не нравится:
|
|||
25.04.2018, 21:31 |
|
Изменить все строки поля типа integer на заданную величину максимально быстро
|
|||
---|---|---|---|
#18+
Ivan_Pisarevsky, чем отличается предпоследний и последний варианты? Сам дошел уже насчет сортировки, сделал по предпоследнему варианту, но все равно долго, пока не закончилось ... |
|||
:
Нравится:
Не нравится:
|
|||
25.04.2018, 21:35 |
|
Изменить все строки поля типа integer на заданную величину максимально быстро
|
|||
---|---|---|---|
#18+
Последний гарантированно отбросит индекс на сортировке, что вызовет полное кэширование резалтсета и сортировку через темп файл,т.е. это такой хак, чтобы стабилизировать курсор. В трешке это уже исправлено, см. пост Влада выше. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.04.2018, 21:38 |
|
Изменить все строки поля типа integer на заданную величину максимально быстро
|
|||
---|---|---|---|
#18+
арт2010именно так и делаю. Зачем??? Одного простого update хватит. А при отсутствии индекса по этому полю оно ещё и работать будет. Но на всякий случай план таки покажи. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
25.04.2018, 22:03 |
|
Изменить все строки поля типа integer на заданную величину максимально быстро
|
|||
---|---|---|---|
#18+
Да, простой update на удивление сработал за пару минут. Остальные варианты все вешали БД более чем на полчаса, далее убивал процесс. Всем спасибо за помощь ... |
|||
:
Нравится:
Не нравится:
|
|||
25.04.2018, 22:45 |
|
Изменить все строки поля типа integer на заданную величину максимально быстро
|
|||
---|---|---|---|
#18+
арт2010Да, простой update на удивление сработал за пару минутЗависит от упорядоченности данных. Могло не повезти. PS Индекса на ID небось нет ? ... |
|||
:
Нравится:
Не нравится:
|
|||
25.04.2018, 22:50 |
|
Изменить все строки поля типа integer на заданную величину максимально быстро
|
|||
---|---|---|---|
#18+
hvlad, на удивление нет ) ... |
|||
:
Нравится:
Не нравится:
|
|||
25.04.2018, 22:54 |
|
Изменить все строки поля типа integer на заданную величину максимально быстро
|
|||
---|---|---|---|
#18+
арт2010чем отличается предпоследний и последний варианты? с этим вопросом вам сюда: https://www. youtube.com/watch?v=0KITHwMNDtw ... |
|||
:
Нравится:
Не нравится:
|
|||
25.04.2018, 23:30 |
|
Изменить все строки поля типа integer на заданную величину максимально быстро
|
|||
---|---|---|---|
#18+
арт2010hvlad, на удивление нет )И чего тогда удивляться, что 200К фуллсканов - это не "пара минут" ? ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2018, 00:41 |
|
Изменить все строки поля типа integer на заданную величину максимально быстро
|
|||
---|---|---|---|
#18+
арт2010Есть ли варианты за исключениемКонечно есть! Если для поля отсутствуют ограничения, то просто: Код: sql 1.
... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2018, 09:23 |
|
Изменить все строки поля типа integer на заданную величину максимально быстро
|
|||
---|---|---|---|
#18+
Ivan_Pisarevskyчто вызовет полное кэширование резалтсета и сортировку через темп файл,т.е. это такой хак, чтобы стабилизировать курсор. Любопытные приёмчики... А если бы в исходном цикле поменять условие на сам курсор? Код: sql 1. 2. 3. 4. 5.
тогда бы могло зациклиться? возможно, для двойки это был бы более очевидный хак правда для тройки не рекомендуется, но там вроде само должно работать ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2018, 11:59 |
|
Изменить все строки поля типа integer на заданную величину максимально быстро
|
|||
---|---|---|---|
#18+
А, ещё старый добрый хак Код: sql 1. 2. 3. 4. 5.
... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2018, 12:00 |
|
Изменить все строки поля типа integer на заданную величину максимально быстро
|
|||
---|---|---|---|
#18+
AriochА если бы в исходном цикле поменять условие на сам курсор? Код: sql 1. 2. 3. 4. 5.
тогда бы могло зациклиться?Ты стало бы практически то же самое, что и просто UPDATE без явного курсора ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2018, 12:01 |
|
Изменить все строки поля типа integer на заданную величину максимально быстро
|
|||
---|---|---|---|
#18+
hvlad, я тоже не вполне понимаю, почему ТС начал цикл городить, вместо того, чтобы просто запустить UPDATE похоже на него так со всех сторон насели, что мозг заклинило, включилось туннельное зрение, бывает, брррр! но он начал с цикла, так что мне стало любопытно сделать именно его изначальный цикл работающим с минимальными изменениями в запросе. И да, where current - именно чтобы не искать запись ещё раз, тем более full-scan'ом, аналог прямогo update. Но тут снова вопрос к implementation details. Любое изменение - это новая версия строки. Не может ли так получиться, что update вставит новую версию записи в свободное место впереди курсора, после чего бегущий fullscan'ом цикл снова на нее наткнётся? Вроде краем уха слышал, что записи помечались, что они изменены текущим оператором, чтобы этого избежать, но где когда и что слышал, не помню. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2018, 12:07 |
|
Изменить все строки поля типа integer на заданную величину максимально быстро
|
|||
---|---|---|---|
#18+
AriochВроде краем уха слышал, что записи помечались, что они изменены текущим оператором, чтобы этого избежать, но где когда и что слышал, не помню. примерно это и сделано в 3.0 для исправления стабильности курсора ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2018, 12:40 |
|
Изменить все строки поля типа integer на заданную величину максимально быстро
|
|||
---|---|---|---|
#18+
Симонов Денис, а в 2.х ? может вышеупомянутый update ( отдельный или внутри цикла ) снова зацепить созданные сами собой записи ? ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2018, 12:45 |
|
Изменить все строки поля типа integer на заданную величину максимально быстро
|
|||
---|---|---|---|
#18+
Arioch, цикл может, update без where нет ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2018, 12:50 |
|
Изменить все строки поля типа integer на заданную величину максимально быстро
|
|||
---|---|---|---|
#18+
а update с where видимо опять может... 3.0 relnotescontinue updating the same rows ad infinitum ..... because the engine used an implicit cursor for the operations. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2018, 12:54 |
|
Изменить все строки поля типа integer на заданную величину максимально быстро
|
|||
---|---|---|---|
#18+
Симонов Денисupdate без where нет а почему, интересно? предположим, на текущей сранице свободного места нет. оператор изменённую запись записывает в свободное место на следующую страницу. а если после restore - так и вообще на чистую новую страницу в конец таблицы. ....через некоторое время update который fullscan заканчивает текущую страницу, добирается до следующей - а там новая изменённая версия ему снова попадается. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2018, 12:57 |
|
Изменить все строки поля типа integer на заданную величину максимально быстро
|
|||
---|---|---|---|
#18+
Ariochоператор изменённую запись записывает в свободное место на следующую страницу. Так не бывает. Запись привязана к странице и не может перемещаться, поэтому natural не зациклится хоть его режь. Единственный способ зациклить простой update это получить ему plan index или order по индексу на изменяемом поле. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2018, 13:10 |
|
Изменить все строки поля типа integer на заданную величину максимально быстро
|
|||
---|---|---|---|
#18+
AriochНе может ли так получиться, что update вставит новую версию записи в свободное место впереди курсора, после чего бегущий fullscan'ом цикл снова на нее наткнётся?Физическая запись никогда не меняет своего адреса. Она его получает при insert и освобождает только после delete + сборка мусора. Апдейт создаёт бекверсии, но голова цепочки версий всегда живёт по старому адресу. Поэтму fullscan мог зациклиться, только если создаются новые записи (insert into t select from t). Т.е. update\delete + fullscan - не может зациклиться. AriochВроде краем уха слышал, что записи помечались, что они изменены текущим оператором, чтобы этого избежатьНе так, но меры в 3-ке приняты и подобных побочных эффектов там нет. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2018, 13:22 |
|
Изменить все строки поля типа integer на заданную величину максимально быстро
|
|||
---|---|---|---|
#18+
hvladАпдейт создаёт бекверсии, но голова цепочки версий всегда живёт по старому адресу. ага, понятно, это я видимо после недавней статьи PostgresSQL vs InnoDB попутал но тут тоже неполнятно, ведь записи в FB пакуются побайтово в RLE это означает, что обновлённая запись может оказаться менее удачной для RLE и после упаковки стать длиннее старой версии, и просто "не влезть" в местое, которое занимала старая запись? ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2018, 13:34 |
|
Изменить все строки поля типа integer на заданную величину максимально быстро
|
|||
---|---|---|---|
#18+
Dimitry SibiryakovЗапись привязана к странице и не может перемещаться а если изменённая запись стала длиннее (после упаковки, в байтах), а не странице свободного места нет ? Будут другие записи выноситься на другие страницы ? ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2018, 13:35 |
|
Изменить все строки поля типа integer на заданную величину максимально быстро
|
|||
---|---|---|---|
#18+
Arioch, если для нового образа первичной версии нет места на странице, она будет фрагментированна и часть её переползёт на другую страницу. Но голова всё равно останется на месте. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2018, 13:41 |
|
Изменить все строки поля типа integer на заданную величину максимально быстро
|
|||
---|---|---|---|
#18+
hvlad, ага, так понятно, спасибо сразу появляется тролльское желание зарезать кэш БД в ровно одну страницу и попробовать вычитать такую запись, сможет ли сервер разумно обработать такую ошибку ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2018, 13:43 |
|
Изменить все строки поля типа integer на заданную величину максимально быстро
|
|||
---|---|---|---|
#18+
Ariochсразу появляется тролльское желание зарезать кэш БД в ровно одну страницуЕсть ограничение снизу = 50 страниц ;) ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2018, 14:10 |
|
Изменить все строки поля типа integer на заданную величину максимально быстро
|
|||
---|---|---|---|
#18+
hvlad, можно сказать, что уползание головы на другую страницу и/или на другое место в той же странице (в любой момент, по любой причине) - проявляется как изменение RDB$DB_KEY ? Что это один и тот же процесс ? И соотв. читая рассуждения про как-бы-стабильность значений RDB$DB_KEY можно оценить, в каких случаях головы ползают, а в каких остаются на месте ? ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2018, 15:48 |
|
Изменить все строки поля типа integer на заданную величину максимально быстро
|
|||
---|---|---|---|
#18+
Arioch что уползание головы на другую страницу и/или на другое место в той же странице (в любой момент, по любой причине) - проявляется как изменение RDB$DB_KEY НЕТ. Ну что за попытки ересь какую-то сочинить. rdb$db_key - это номер записи, той самой головы, про которую hvlad уже два раза сказал. Arioch в каких случаях головы ползают ни в каких. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2018, 15:50 |
|
Изменить все строки поля типа integer на заданную величину максимально быстро
|
|||
---|---|---|---|
#18+
RDB$DB_KEY состоит из номера страницы и положения записи на ней. Выводы сделать сумеешь? Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2018, 15:51 |
|
Изменить все строки поля типа integer на заданную величину максимально быстро
|
|||
---|---|---|---|
#18+
kdvArioch в каких случаях головы ползают ни в каких.Именно так ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2018, 16:04 |
|
Изменить все строки поля типа integer на заданную величину максимально быстро
|
|||
---|---|---|---|
#18+
Dimitry Sibiryakov, если тебя и KDV объединить, то получается, что RDB$DB_KEY не меняется никогда. а это не так, иначе бы его использовали вместо синтетических ПК и не парились например, из известной статьи This also leads well to a discussion why you cannot rely on the record position to persist 1) after a backup/restore 2) or after your transaction has committed ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2018, 19:37 |
|
Изменить все строки поля типа integer на заданную величину максимально быстро
|
|||
---|---|---|---|
#18+
Arioch1) after a backup/restore 2) or after your transaction has committed первое верно, потому что надо понимать, что такое restore (и это просто инсерт) а второе - чешуя. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2018, 19:53 |
|
Изменить все строки поля типа integer на заданную величину максимально быстро
|
|||
---|---|---|---|
#18+
после коммита может быть собран мусор (после удаления записи) и на это же место может попасть другая запись, есс-но с тем же RDB$DB_KEY. Это как раз и нарушает его "стабильность", если держать ссылку "за щекой" между транзакциями - она может протухнуть. Но у одной и той же записи RDB$DB_KEY не меняется никогда, заголовок записи не имеет права перемещаться (на самом деле - может внутри страницы, но это уже детали). Вот и все. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2018, 20:00 |
|
Изменить все строки поля типа integer на заданную величину максимально быстро
|
|||
---|---|---|---|
#18+
Arioch, с точки зрения пользователя, и вообще всех "снаружи" движка - запись идентифицирует её PK и только PK. Для движка запись идентифицирует DB_KEY. Никогда не путай эти понятия, они не обязаны никак соответствовать. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2018, 21:00 |
|
|
start [/forum/topic.php?all=1&fid=40&tid=1561136]: |
0ms |
get settings: |
9ms |
get forum list: |
11ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
53ms |
get topic data: |
8ms |
get forum data: |
2ms |
get page messages: |
60ms |
get tp. blocked users: |
1ms |
others: | 10ms |
total: | 160ms |
0 / 0 |