|
|
|
Загрузка 170 000 000 записей
|
|||
|---|---|---|---|
|
#18+
a_voronin andreymx на самом деле 170 млн строк не так уж и много тут еще вопрос уже поднимали насчет пропускной способности сети и еще могут быть тормоза, если сервер оракл на земле, а сервер мсскл в ажуре (или наоборот) Надо сразу писать инкрементальную загрузку. Чтобы она продолжала с того места, где закончила. Надеяться, что 170 лямов пройдут за один заход не стоит. Я бил по хешу от первичного ключа выгрузки на порции. На 2,4,8,16 по выбору. И тогда даже терабайтные таблички нормально грузятся за 1 транзакцию. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.08.2020, 17:01 |
|
||
|
Загрузка 170 000 000 записей
|
|||
|---|---|---|---|
|
#18+
Критик a_voronin При любом раскладе есть решение через доп таблицу и триггер на источнике. На Oracle они не так сильно тупят как на MSSQL. Ага, поставьте триггер на таблицу в первичной банковской системе... Часто проще грузить по 200 млн ежедневно. Расклады бывают разные. Я такое проворачивал именно в банке. Есть различные способы инкриментальной выгрузки. Можно по хешу с партиционированием по диапазону ключей или по дате. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.08.2020, 09:32 |
|
||
|
Загрузка 170 000 000 записей
|
|||
|---|---|---|---|
|
#18+
mayton a_voronin пропущено... Надо сразу писать инкрементальную загрузку. Чтобы она продолжала с того места, где закончила. Надеяться, что 170 лямов пройдут за один заход не стоит. Я бил по хешу от первичного ключа выгрузки на порции. На 2,4,8,16 по выбору. И тогда даже терабайтные таблички нормально грузятся за 1 транзакцию. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.08.2020, 16:37 |
|
||
|
Загрузка 170 000 000 записей
|
|||
|---|---|---|---|
|
#18+
andreymx mayton пропущено... Я бил по хешу от первичного ключа выгрузки на порции. На 2,4,8,16 по выбору. И тогда даже терабайтные таблички нормально грузятся за 1 транзакцию. Мне нравится. А у тебя есть другая функция которая терабайт побъёт на ровные фрагменты? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.08.2020, 16:40 |
|
||
|
Загрузка 170 000 000 записей
|
|||
|---|---|---|---|
|
#18+
mayton, например, по остатку от деления на количество потоков, или в свежем SSIS есть блок, который сам делит входящий поток на несколько потоков вставки ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.08.2020, 18:05 |
|
||
|
Загрузка 170 000 000 записей
|
|||
|---|---|---|---|
|
#18+
Критик mayton, например, по остатку от деления на количество потоков, или в свежем SSIS есть блок, который сам делит входящий поток на несколько потоков вставки А ты про это.... Извини я вообще не специалист в SSIS. Я это применял для Oracle/Java стека технологий. Щас я вот озабочен экспортом из Oracle/PG в колончатый формат. https://www.sql.ru/forum/1323925/ponedelnichnye-razgovory-ob-eksporte-i-column-oriented-files Это фоновая задача которой я занимают время-от времени. Моя попытка вывести часть облачных технологий в повседневное не-облачное использование. Тоесть дать админам и девопсам колончатый экспорт утилиту в руки. Я думаю там я и реализую партишеннинг по разным формулам. И снапшоты чтоб консистентно было. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.08.2020, 19:07 |
|
||
|
Загрузка 170 000 000 записей
|
|||
|---|---|---|---|
|
#18+
mayton, Мм, а разве в самом Oracle нет такого архивирования? А то для MSSQL я поступал просто - сливал старые данные в таблицу с кластерным колоночным индексом с архивным видом сжатия. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.08.2020, 20:11 |
|
||
|
Загрузка 170 000 000 записей
|
|||
|---|---|---|---|
|
#18+
В оракле есть exp/expdp. Но они - строчно-ориентированные. Яже делаю - колоночно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.08.2020, 22:24 |
|
||
|
Загрузка 170 000 000 записей
|
|||
|---|---|---|---|
|
#18+
тема отделилась от своего создателя ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2020, 00:12 |
|
||
|
Загрузка 170 000 000 записей
|
|||
|---|---|---|---|
|
#18+
Критик mayton, например, по остатку от деления на количество потоков, или в свежем SSIS есть блок, который сам делит входящий поток на несколько потоков вставки Что за блок и в какой версии? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2020, 08:04 |
|
||
|
Загрузка 170 000 000 записей
|
|||
|---|---|---|---|
|
#18+
a_voronin, вот на картинке, добавлен вроде бы с 2016 только, в ru-версию не осилили сделать, поэтому он не вытаскивается, т.к. название формируется неправильное ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2020, 14:18 |
|
||
|
Загрузка 170 000 000 записей
|
|||
|---|---|---|---|
|
#18+
Критик a_voronin, вот на картинке, добавлен вроде бы с 2016 только, в ru-версию не осилили сделать, поэтому он не вытаскивается, т.к. название формируется неправильное https://www.sqlshack.com/ssis-balanced-data-distributor-overview/ Судя по описанию, такое через conditional split можно было и раньше делать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2020, 14:36 |
|
||
|
|
start [/forum/topic.php?fid=46&gotonew=1&tid=1685779]: |
0ms |
get settings: |
10ms |
get forum list: |
14ms |
check forum access: |
5ms |
check topic access: |
5ms |
track hit: |
47ms |
get topic data: |
10ms |
get first new msg: |
7ms |
get forum data: |
3ms |
get page messages: |
54ms |
get tp. blocked users: |
1ms |
| others: | 13ms |
| total: | 169ms |
| 0 / 0 |
