|
|
|
Большой Insert
|
|||
|---|---|---|---|
|
#18+
Кто делал инсерт большого кол-ва записей? Например больше 1-го миллиона...? Думаю сделать подобную штуку в курсоре, поделить тысяч по 10 и в курсоре делать insert. Но вот думаю - по 10 000 записей за раз инсертить не многова-то ли? и какие подводные камни могут ожидать? ) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2017, 07:49 |
|
||
|
Большой Insert
|
|||
|---|---|---|---|
|
#18+
RMagistr2015Кто делал инсерт большого кол-ва записей? Например больше 1-го миллиона...? Нееееее, Вы что, никто и никогда, первым будете .... Думаю сделать подобную штуку в курсоре, поделить тысяч по 10 и в курсоре делать insert. Но вот думаю - по 10 000 записей за раз инсертить не многова-то ли? и какие подводные камни могут ожидать? ) Так проверьте, всеравно делать, на тесте и камней найдете подводных если будут.... учитесь.... Тем более что никто не представляет Вашей архитектуры и источника данных. Хотя по количеству вопросов и открытых тем, может уже кто-то построил тестовый полигон Вашего проекта для себя. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2017, 08:02 |
|
||
|
Большой Insert
|
|||
|---|---|---|---|
|
#18+
MaximaXXLRMagistr2015Кто делал инсерт большого кол-ва записей? Например больше 1-го миллиона...? Нееееее, Вы что, никто и никогда, первым будете .... Думаю сделать подобную штуку в курсоре, поделить тысяч по 10 и в курсоре делать insert. Но вот думаю - по 10 000 записей за раз инсертить не многова-то ли? и какие подводные камни могут ожидать? ) Так проверьте, всеравно делать, на тесте и камней найдете подводных если будут.... учитесь.... Тем более что никто не представляет Вашей архитектуры и источника данных. Хотя по количеству вопросов и открытых тем, может уже кто-то построил тестовый полигон Вашего проекта для себя. может, а почему никогда не понял, если задача такая стоит, не совсем понял ваше сообщение...? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2017, 08:09 |
|
||
|
Большой Insert
|
|||
|---|---|---|---|
|
#18+
RMagistr2015, Да я и вопрос Ваш не понял, то ли похвастаться тему завели: "Мне доверили залить больше 1 мил записей, во какой я значимый" То ли делать лень: "А не пойти ли мне на форум, что-то лень работать ..." Если задача стоит залить данные, так залейте .... Залейте по 10к, по 100К, по 5к и Вы решите для себя, что Вам будет лучше. Не ленитесь. Если вылезет ошибка или Вам покажеться что долго(при этом Вы перепробывали более 2 вариантов), приходите с конкретным решением/ошибкой, если до этого сами разобраться не смогли. Т.е. покажите Вашу работу над поставленной задачей. Я ее пока тут не вижу. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2017, 08:53 |
|
||
|
Большой Insert
|
|||
|---|---|---|---|
|
#18+
MaximaXXLRMagistr2015, Да я и вопрос Ваш не понял, то ли похвастаться тему завели: "Мне доверили залить больше 1 мил записей, во какой я значимый" То ли делать лень: "А не пойти ли мне на форум, что-то лень работать ..." Если задача стоит залить данные, так залейте .... Залейте по 10к, по 100К, по 5к и Вы решите для себя, что Вам будет лучше. Не ленитесь. Если вылезет ошибка или Вам покажеться что долго(при этом Вы перепробывали более 2 вариантов), приходите с конкретным решением/ошибкой, если до этого сами разобраться не смогли. Т.е. покажите Вашу работу над поставленной задачей. Я ее пока тут не вижу. Ок, понял, спасибо ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2017, 09:17 |
|
||
|
Большой Insert
|
|||
|---|---|---|---|
|
#18+
RMagistr2015Кто делал инсерт большого кол-ва записей? Например больше 1-го миллиона...? Думаю сделать подобную штуку в курсоре, поделить тысяч по 10 и в курсоре делать insert. Но вот думаю - по 10 000 записей за раз инсертить не многова-то ли? и какие подводные камни могут ожидать? ) не много ...... stax ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2017, 09:29 |
|
||
|
Большой Insert
|
|||
|---|---|---|---|
|
#18+
RMagistr2015Но вот думаю - по 10 000 записей за раз инсертить не многова-то ли? и какие подводные камни могут ожидать? )Если промежуточных commit-ов нет, то это будет лишь видимость кипучей деятельности. Т.е. бесполезный говнокод. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2017, 09:57 |
|
||
|
Большой Insert
|
|||
|---|---|---|---|
|
#18+
ElicRMagistr2015Но вот думаю - по 10 000 записей за раз инсертить не многова-то ли? и какие подводные камни могут ожидать? )Если промежуточных commit-ов нет, то это будет лишь видимость кипучей деятельности. Т.е. бесполезный говнокод. Ну после инсерта каждых 10 000 записей commit - это норм? ) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2017, 10:46 |
|
||
|
Большой Insert
|
|||
|---|---|---|---|
|
#18+
RMagistr2015, конечно норм, даже после 5 тысяч будет норм, т.к. это всего каких-то 200 или 100 коммитов ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2017, 10:50 |
|
||
|
Большой Insert
|
|||
|---|---|---|---|
|
#18+
trace.logконечно норм Не "конечно", а при условии, что это не порушит целостность данных. В том числе - в сценариях ошибок при загрузке. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2017, 10:57 |
|
||
|
Большой Insert
|
|||
|---|---|---|---|
|
#18+
andrey_anonymoustrace.logконечно норм Не "конечно", а при условии, что это не порушит целостность данных. В том числе - в сценариях ошибок при загрузке. у автора: Кто делал инсерт большого кол-ва записей? Например больше 1-го миллиона...? Думаю сделать подобную штуку в курсоре, поделить тысяч по 10 и в курсоре делать insert. Но вот думаю - по 10 000 записей за раз инсертить не многова-то ли? и какие подводные камни могут ожидать? ) про "целостность" ни единого слова. может ему надо создать клон таблицы какой-то таблицы.... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2017, 11:00 |
|
||
|
Большой Insert
|
|||
|---|---|---|---|
|
#18+
RMagistr2015Ну после инсерта каждых 10 000 записей commit - это норм? ) Да, это отличное решение. Дополнительно, после цикла который инсертит твои записи, надо писать (и это важно) exception when OTHERS then null; Тогда точно все отработает хорошо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2017, 11:56 |
|
||
|
Большой Insert
|
|||
|---|---|---|---|
|
#18+
saxarockRMagistr2015Ну после инсерта каждых 10 000 записей commit - это норм? ) Да, это отличное решение. Дополнительно, после цикла который инсертит твои записи, надо писать (и это важно) exception when OTHERS then null; Тогда точно все отработает хорошо. а если rollback??? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2017, 12:00 |
|
||
|
Большой Insert
|
|||
|---|---|---|---|
|
#18+
RMagistr2015saxarockпропущено... Да, это отличное решение. Дополнительно, после цикла который инсертит твои записи, надо писать (и это важно) exception when OTHERS then null; Тогда точно все отработает хорошо. а если rollback??? Определения в Интернете! Определения в Интернете ROLLBACK — оператор языка SQL, который применяется для того, чтобы: ⁕отменить все изменения, внесённые начиная с момента начала транзакции или с какой-то точки сохранения. ⁕очистить все точки сохранения данной транзакции ⁕завершить транзакцию ⁕освободить все блокировки данной транзакции ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2017, 12:08 |
|
||
|
Большой Insert
|
|||
|---|---|---|---|
|
#18+
RMagistr2015а если rollback??? Старая вещь, давно таким уже никто не пользуется. Зачем тебе отмена инсерта? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2017, 12:10 |
|
||
|
Большой Insert
|
|||
|---|---|---|---|
|
#18+
RMagistr2015а если rollback??? ето сахарок так "тонко" тролит ..... stax ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2017, 12:14 |
|
||
|
Большой Insert
|
|||
|---|---|---|---|
|
#18+
saxarockСтарая вещь, давно таким уже никто не пользуется saxatroll, говори за себя.. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2017, 12:14 |
|
||
|
Большой Insert
|
|||
|---|---|---|---|
|
#18+
Viewer, stax Я думаю автор топика все время троллит здесь. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2017, 13:32 |
|
||
|
Большой Insert
|
|||
|---|---|---|---|
|
#18+
saxarockViewer, stax Я думаю автор топика все время троллит здесь. Неправда, вопрос возник потому что Rollback отменяет все операции, вообще все. Я делаю процедурину, на случай ошибки - делаю exeption, а вот нужно ли и безопасно ли ставить там Rollback ? т.к. insert происходит порциями, то при ошибке сколько записей останется? и Rollback отменит вообще все insert или только последние, и будет ли отменять другие операции ??? что было бы совсем ужасом ((( ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2017, 14:04 |
|
||
|
Большой Insert
|
|||
|---|---|---|---|
|
#18+
saxarockЯ думаю автор топика все время троллит здесь. Увы... вы правы. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2017, 14:08 |
|
||
|
Большой Insert
|
|||
|---|---|---|---|
|
#18+
ViewersaxarockЯ думаю автор топика все время троллит здесь.Увы... вы правы.А администрация сайта руками модераторов подтирает ради таких, боясь судов... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2017, 14:16 |
|
||
|
Большой Insert
|
|||
|---|---|---|---|
|
#18+
миллион по нынешним меркам это мало помнится, когда то давно были рекомендации не делать коллекции более 10к записей но вот пару лет назад я тестил коллекции и в миллион, и 10 млн записей, всё норм работало и даже быстро. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2017, 14:16 |
|
||
|
Большой Insert
|
|||
|---|---|---|---|
|
#18+
RMagistr2015saxarockViewer, stax Я думаю автор топика все время троллит здесь. Неправда, вопрос возник потому что Rollback отменяет все операции, вообще все. Я делаю процедурину, на случай ошибки - делаю exeption, а вот нужно ли и безопасно ли ставить там Rollback ? т.к. insert происходит порциями, то при ошибке сколько записей останется? и Rollback отменит вообще все insert или только последние, и будет ли отменять другие операции ??? что было бы совсем ужасом ((( Код: plsql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. 54. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2017, 14:19 |
|
||
|
Большой Insert
|
|||
|---|---|---|---|
|
#18+
nxxя тестил коллекции и в миллион, и 10 млн записей, всё норм работало и даже быстро.Записей, не скаляров? - Хорошая у тебя PGA, не swap-ливая. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2017, 14:19 |
|
||
|
Большой Insert
|
|||
|---|---|---|---|
|
#18+
RMagistr2015Я делаю процедурину - лучше не делай RMagistr2015 на случай ошибки - делаю exeption - нужно понять зачем ? RMagistr2015 т.к. insert происходит порциями - как сделал? в цикле с фиксацией? RMagistr2015а вот нужно ли и безопасно ли ставить там Rollback - была ли фиксация? RMagistr2015 то при ошибке сколько записей останется а сколько инсертил? RMagistr2015и Rollback отменит вообще все - да все на свете отменит и сделает все хорошо, и плюс на карту денюжки упадут. меня тут давно не было (не заходил на форум), RMagistr2015 - ты как был неучем так и остался, без чтения книжек ты так и будешь сыпать на этот форум тупые вопросы. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2017, 14:21 |
|
||
|
Большой Insert
|
|||
|---|---|---|---|
|
#18+
ElicViewerпропущено... Увы... вы правы.А администрация сайта руками модераторов подтирает ради таких, боясь судов... Прошу Вас пожалуйста по теме, Вас ни кто не заставляет заходить в тему и писать там сообщения, Спасибо Вам большое за Вашу помощь ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2017, 15:02 |
|
||
|
Большой Insert
|
|||
|---|---|---|---|
|
#18+
saxarock, сасибо за ответы, развиваюсь не смотря ни на что )) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2017, 15:08 |
|
||
|
Большой Insert
|
|||
|---|---|---|---|
|
#18+
RMagistr2015saxarock, сасибо за ответы, развиваюсь не смотря ни на что )) - развиваюсь не смотря ни на что читая ничего)) Ну да, далеко уехал. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2017, 15:15 |
|
||
|
Большой Insert
|
|||
|---|---|---|---|
|
#18+
Не зря вчера stax-а весь день кто-то троллил. Только он может с серьезным видом браться за любую тупую задачу, и отвечать на любой тупой вопрос. Топикстартер - "А у меня пройдет апдейт таблицы, если день недели - среда?" Stax - "Да, вот скрипт на update. Работает: n rows updated. И не забудь сделать commit" Топикстартер - "но оракл говорит, что такой таблицы не существует" Stax - "да, в оракле, чтобы апдейтить таблицу, ее нужно создать" Топикстартер - "Но таблица уже создана" Stax - "Тогда гранты" ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2017, 15:27 |
|
||
|
Большой Insert
|
|||
|---|---|---|---|
|
#18+
ElicЕсли промежуточных commit-ов нет, то это будет лишь видимость кипучей деятельности. А разве это удобство отладки не дает (чтобы в случае нарушения constrain точнее выявить проблемную запись)? Ведь никаких особых штрафов от одного или десяти операторов внутри одной транзакции нет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2017, 15:39 |
|
||
|
Большой Insert
|
|||
|---|---|---|---|
|
#18+
Alibek B.ElicЕсли промежуточных commit-ов нет, то это будет лишь видимость кипучей деятельности. А разве это удобство отладки не дает (чтобы в случае нарушения constrain точнее выявить проблемную запись)? Ведь никаких особых штрафов от одного или десяти операторов внутри одной транзакции нет. Елик намекает на ролбек сегменты ..... stax ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2017, 15:46 |
|
||
|
Большой Insert
|
|||
|---|---|---|---|
|
#18+
StaxAlibek B.ElicЕсли промежуточных commit-ов нет, то это будет лишь видимость кипучей деятельности. А разве это удобство отладки не дает (чтобы в случае нарушения constrain точнее выявить проблемную запись)? Ведь никаких особых штрафов от одного или десяти операторов внутри одной транзакции нет. Елик намекает на ролбек сегменты ..... stax stax, возможно стресс... после стольких лет и вынудили зарегистрирововаться (причины для не, помню, вы приводили) ... но, Elic, поправит если нет, имел ввиду..ммм.. банальную вещь.. без промежуточного commit в цикле... что вам физиологически напоминает вставка в цикле вместо insert into select * from... Не настаиваю на озвучиванию ассоциаций, ибо это не для технического, для физиологического форума... P.S. Ваш официальный ник визуально несколько отличается от столь привычного и за много лет фотографически отпечатавшего в мозгу сторожилов начертания... я бы сохранил традицию... но вам виднее... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2017, 18:38 |
|
||
|
Большой Insert
|
|||
|---|---|---|---|
|
#18+
Viewer... но, Elic, поправит если нет, имел ввиду..ммм.. банальную вещь..Именно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2017, 18:44 |
|
||
|
Большой Insert
|
|||
|---|---|---|---|
|
#18+
RMagistr2015Rollback отменяет все операции, вообще все Мне тут на днях назначили дату удаления аппендикса. Дополз домой, быстро написал кусок кода. Rollback был, а аппендикс все-равно вырезали... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.07.2017, 07:53 |
|
||
|
Большой Insert
|
|||
|---|---|---|---|
|
#18+
ViewerP.S. Ваш официальный ник визуально несколько отличается от столь привычного и за много лет фотографически отпечатавшего в мозгу сторожилов начертания... я бы сохранил традицию... но вам виднее... Stax. и Stax... кто-то зарегестрился под серым Stax.. начали постить и другие, имеют право пришлось рискнуть (и так проблемы) ..... stax ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.07.2017, 08:49 |
|
||
|
Большой Insert
|
|||
|---|---|---|---|
|
#18+
Пациент со швомRMagistr2015Rollback отменяет все операции, вообще все Мне тут на днях назначили дату удаления аппендикса. Дополз домой, быстро написал кусок кода. Rollback был, а аппендикс все-равно вырезали... не до, а после операции Rollback не отменяет операции выполненные после него ..... stax ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.07.2017, 08:52 |
|
||
|
Большой Insert
|
|||
|---|---|---|---|
|
#18+
Staxне до, а после операции Rollback не отменяет операции выполненные после него ..... stax Да пробовал, да хирург уже закомитил иглой да нитью... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.07.2017, 13:55 |
|
||
|
Большой Insert
|
|||
|---|---|---|---|
|
#18+
StaxПациент со швомпропущено... Мне тут на днях назначили дату удаления аппендикса. Дополз домой, быстро написал кусок кода. Rollback был, а аппендикс все-равно вырезали... не до, а после операции Rollback не отменяет операции выполненные после него ..... stax сделал курсором, брал за один день и insert .... ; commit; Спасибо большое Stax ))) Ты реально крут )))) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.07.2017, 13:00 |
|
||
|
|

start [/forum/topic.php?all=1&fid=52&tid=1885525]: |
0ms |
get settings: |
6ms |
get forum list: |
14ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
153ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
46ms |
get tp. blocked users: |
1ms |
| others: | 198ms |
| total: | 434ms |

| 0 / 0 |
