|
Postgres не хочет юзать память
|
|||
---|---|---|---|
#18+
an2kqwwq, Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12.
аналогично, коллега ... |
|||
:
Нравится:
Не нравится:
|
|||
01.06.2017, 20:47 |
|
Postgres не хочет юзать память
|
|||
---|---|---|---|
#18+
qwwq, Покритикуйте вот такой сценарий: Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. 54. 55.
... |
|||
:
Нравится:
Не нравится:
|
|||
01.06.2017, 22:26 |
|
Postgres не хочет юзать память
|
|||
---|---|---|---|
#18+
ursido, В пункте 4 опечатка. Читать как: Код: sql 1. 2. 3. 4.
В предложении DISTINCT ON 2 (два) поля. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.06.2017, 22:31 |
|
Postgres не хочет юзать память
|
|||
---|---|---|---|
#18+
ursido, а, что ? вы его где-то уже описали 20530287 с тех пор он , по моему , не изменился я неправ ? ... |
|||
:
Нравится:
Не нравится:
|
|||
01.06.2017, 23:09 |
|
Postgres не хочет юзать память
|
|||
---|---|---|---|
#18+
попутал. тут 20529102 ... |
|||
:
Нравится:
Не нравится:
|
|||
01.06.2017, 23:10 |
|
Postgres не хочет юзать память
|
|||
---|---|---|---|
#18+
qwwq, Примерно так. Только еще наследование задействовано. Чтобы не было влияния вновь вставляемых значений. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.06.2017, 23:31 |
|
Postgres не хочет юзать память
|
|||
---|---|---|---|
#18+
в силу 20530287 индекс не нужен. кроме того на моей памяти "ДИСТИНКТ ОН" не умел пользоваться инд-м. (который тут не нужен), даже когда было нужно т.е. при >>10/1. если планер тут починили -- поправьте меня. это технически идеологически -- всё плохо. если уж заниматься хенджобом, то всё должно быть как настоящее -- записи не должны раздвояйца ни в один момент. наследование от непустой таблички вообще ошибка -- т.к. её аналайз может залочить вам ддл на наследниках. и т.д. и если бы борьба шла за сжатие 1/10--1/100 и более. За 1/4 вряд ли имеет смысл. написать один джоб с журналом и автономиями -- и ладушки. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.06.2017, 11:01 |
|
Postgres не хочет юзать память
|
|||
---|---|---|---|
#18+
qwwq, Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10.
Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9.
... |
|||
:
Нравится:
Не нравится:
|
|||
02.06.2017, 13:10 |
|
Postgres не хочет юзать память
|
|||
---|---|---|---|
#18+
All, В итоге сделал так: Код: plsql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39.
Не мгновенно, но отработало и не зависло. Спасибо всем, кто пытался мне помочь. Возможно этот пост поможет еще кому-нибудь. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.06.2017, 16:20 |
|
Postgres не хочет юзать память
|
|||
---|---|---|---|
#18+
an2kAll, В итоге сделал так: для человека, 27 лет кодировавшего базульки, вы слишком сильно зациклены на динамическом SQL. почему бы не попробовать избавиться от дуной привычке на 28-м году недопонимания ? зачем вам 5 лямов лишних синтакс--анализов ? неужто так не сработает : Код: plsql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39.
... |
|||
:
Нравится:
Не нравится:
|
|||
02.06.2017, 16:53 |
|
Postgres не хочет юзать память
|
|||
---|---|---|---|
#18+
qwwq, Сплошное разочарование. Зачем выбирать данные дважды? (Один раз выбирать max(id), второй раз - непосредственно строку) Уже же был пример, который выбирает за один запрос (пример с DISTINCT ON). Что мешает создать новую таблицу по-честному? Затем удалить старую, а новую подложить на ее место? Зачем гонять данные туда-сюда? Что произошло с индексами в результате перекидывания данных лопатой преобразований данных? - Они распухли. Ваш КО. Что дальше? ... |
|||
:
Нравится:
Не нравится:
|
|||
02.06.2017, 17:01 |
|
Postgres не хочет юзать память
|
|||
---|---|---|---|
#18+
+5коп. Код: plaintext
Код: plaintext
... |
|||
:
Нравится:
Не нравится:
|
|||
02.06.2017, 17:04 |
|
Postgres не хочет юзать память
|
|||
---|---|---|---|
#18+
ursidoЧто мешает создать новую таблицу по-честному? Затем удалить старую, а новую подложить на ее место? Могут помешать зависимые объекты, например представления. Также нужно восстанавливать права доступа к таблице. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.06.2017, 17:22 |
|
Postgres не хочет юзать память
|
|||
---|---|---|---|
#18+
ursidoqwwq, Сплошное разочарование. это не ко мне. автор текста -- сам ТС. я всего лишь обратил его внимание на лишних 5лямов случаев синтекс--анализа (и планирования). но он 27 лет кодит базульки. т.ч. вряд ли прислушается ко мне, к вам, или к павлу. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.06.2017, 17:35 |
|
Postgres не хочет юзать память
|
|||
---|---|---|---|
#18+
Павел Лузанов+5коп. Код: plaintext
Код: plaintext
про Код: plaintext
про Код: plaintext
(а транкейт уж точно потеряет новые, не попавшие в обработку, записи) вот почему для использования truncate-а лучше рисовать полноценную ротацию 2-х партиций. (но это недоступно ТС). ... |
|||
:
Нравится:
Не нравится:
|
|||
02.06.2017, 17:45 |
|
Postgres не хочет юзать память
|
|||
---|---|---|---|
#18+
ursidoqwwq, Сплошное разочарование. Зачем выбирать данные дважды? (Один раз выбирать max(id), второй раз - непосредственно строку) Уже же был пример, который выбирает за один запрос (пример с DISTINCT ON). Что мешает создать новую таблицу по-честному? Затем удалить старую, а новую подложить на ее место? Зачем гонять данные туда-сюда? Что произошло с индексами в результате перекидывания данных лопатой преобразований данных? - Они распухли. Ваш КО. Что дальше? Коллеги, спасибо за активное желание помочь, однако я опять не понимаю половины: - Нередко два запроса получается быстрее чем один с чем-нибудь вроде DISTINCT, впрочем это я согласен - нужно проверить. - "Ваш КО" - КО это что? как расшифровать? - Почему распухли индексы? Я как раз именно так сделал, как сделал, чтобы не переиндексировать отдельно новую таблицу. - ТС - еще одно сокращение-загадка (( ... |
|||
:
Нравится:
Не нравится:
|
|||
03.06.2017, 20:15 |
|
Postgres не хочет юзать память
|
|||
---|---|---|---|
#18+
Павел Лузанов+5коп. Код: plaintext
Код: plaintext
разница существенна? в чем она? ... |
|||
:
Нравится:
Не нравится:
|
|||
03.06.2017, 20:18 |
|
Postgres не хочет юзать память
|
|||
---|---|---|---|
#18+
Павел ЛузановursidoЧто мешает создать новую таблицу по-честному? Затем удалить старую, а новую подложить на ее место? Могут помешать зависимые объекты, например представления. Также нужно восстанавливать права доступа к таблице. В данном случае этого ничего нет, но есть индексы и их очень долго строить, поэтому сделал так. Не уверен, что это лучшее решение - просто мне показалось так проще. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.06.2017, 20:21 |
|
Postgres не хочет юзать память
|
|||
---|---|---|---|
#18+
an2kПавел Лузанов+5коп. Код: plaintext
Код: plaintext
разница существенна? в чем она?для человека , 27 лет занимающегося базами вы чересчур молодо выглядите https://postgrespro.ru/docs/postgrespro/9.5/sql-truncate ... |
|||
:
Нравится:
Не нравится:
|
|||
03.06.2017, 20:23 |
|
Postgres не хочет юзать память
|
|||
---|---|---|---|
#18+
qwwqПавел Лузанов+5коп. Код: plaintext
Код: plaintext
про Код: plaintext
про Код: plaintext
(а транкейт уж точно потеряет новые, не попавшие в обработку, записи) вот почему для использования truncate-а лучше рисовать полноценную ротацию 2-х партиций. (но это недоступно ТС). Могу это проделать в монопольном режиме, без оглядки на действия других - их нет. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.06.2017, 20:24 |
|
Postgres не хочет юзать память
|
|||
---|---|---|---|
#18+
qwwqan2kAll, В итоге сделал так: для человека, 27 лет кодировавшего базульки, вы слишком сильно зациклены на динамическом SQL. почему бы не попробовать избавиться от дуной привычке на 28-м году недопонимания ? зачем вам 5 лямов лишних синтакс--анализов ? неужто так не сработает : Код: plsql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39.
Уважаемый qwwq! Я как и все стараюсь избегать динамических запросов, но кривые ручки - сходу не получилось, а ваш вариант заработал - респект! Про мои 27 лет за консолью: вы не успеете оглянуться, как сможете и о себе сказать то же самое - никакого снобизма - только грусть. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.06.2017, 20:44 |
|
Postgres не хочет юзать память
|
|||
---|---|---|---|
#18+
an2k, по мелочи: Код: sql 1. 2.
можно: Код: sql 1.
а чтобы не злоупотреблять монополией для задач обслуживания -- посмотрите в сторону dblink. Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24.
... |
|||
:
Нравится:
Не нравится:
|
|||
03.06.2017, 20:56 |
|
Postgres не хочет юзать память
|
|||
---|---|---|---|
#18+
Уважаемый qwwq, вы больше всех потратили времени на то, чтобы помочь мне с моей маленькой проблемой. Позвольте выразить Вам искреннюю благодарность. Конечно большое спасибо и Павлу и другим людям, которые приняли в этом участие. Однако, это была только мелкая часть моих забот. На всю задачу в целом можно взглянуть здесь: https://er.mgimo.ru/node/4297892 Прошу уважаемый All посоветовать: открыть ли мне на этом сайте новую ветку и/или где-то еще? В ближайшее время хочу выложить исходники на GitHub, возможно народ поддержит. Впрочем будут, видимо, и ссылки на аналогичные проекты и критика предлагаемого - все приму с благодарностью. Хочу сказать еще одну банальность: то что мы делаем в своем ВУЗе может оказаться полезным и в других местах - кажется инструмент может получится довольно универсальным, если повезет и образуется сильное комьюнити. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.06.2017, 21:19 |
|
Postgres не хочет юзать память
|
|||
---|---|---|---|
#18+
an2k, Систем обмена данными - как грязи. Путь будет еще одна. Все равно никто не заметит. Есть целый стандарт . Причем он появился раньше чем Вас заперли в подвале чем Вы сели за консоль. Прямо сейчас есть туева хуча коммерческих реализаций обмена данными: начиная от 1C и заканчивая различными модными API. А так да, пишите. Нам очень интересно. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.06.2017, 22:09 |
|
Postgres не хочет юзать память
|
|||
---|---|---|---|
#18+
ursido, Стандарты - это просто слова. UNECE EDIFACT подталкивает к XML - мы с него начинали года три назад, казалось неэффективно - слишком медленно. Это для сервисов годится, а мы он них отказались в пользу центральной точки обмена. Лет 10 назад у нас купили Вэбсферу от IBM за бешеные деньги - ниасилили и положили на полку. Нашей группе повезло меньше - когда мы начали денег уже не стало, а обмен нужен - решили строить сами. Вы упомянули еще о различных API - порекомендуете что-то конкретное? ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2017, 09:11 |
|
|
start [/forum/topic.php?fid=53&gotonew=1&tid=1996476]: |
0ms |
get settings: |
10ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
28ms |
get topic data: |
11ms |
get first new msg: |
8ms |
get forum data: |
3ms |
get page messages: |
60ms |
get tp. blocked users: |
2ms |
others: | 328ms |
total: | 472ms |
0 / 0 |