|
BULK INSERT из SSIS
|
|||
---|---|---|---|
#18+
для перекидывания данных был создан SSIS пакет, с простейшей логикой. переменной присваивается значение, эта переменная используется в запросах. и запускается копирование данных из разных таблиц, все параллельно. BULK INSERTы, которые в итоге использует пакет, блокируют друг друга - хотя копирование идет из разных таблиц в разные. где возможно что-то недосмотрел? SQL Server 2012 Enterprice ... |
|||
:
Нравится:
Не нравится:
|
|||
16.12.2020, 10:48 |
|
BULK INSERT из SSIS
|
|||
---|---|---|---|
#18+
mullenberg, как-то не очевидна связь между SSIS и BULK INSERT. SSIS как раз используют, чтобы избежать применения BULK INSERT в том числе. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.12.2020, 14:39 |
|
BULK INSERT из SSIS
|
|||
---|---|---|---|
#18+
Владислав Колосов SSIS как раз используют, чтобы избежать применения BULK INSERT В самом деле? Можете раскрыть тему этого избегания подробнее? ... |
|||
:
Нравится:
Не нравится:
|
|||
16.12.2020, 15:09 |
|
BULK INSERT из SSIS
|
|||
---|---|---|---|
#18+
mullenberg BULK INSERTы, которые в итоге использует пакет, блокируют друг друга - хотя копирование идет из разных таблиц в разные. где возможно что-то недосмотрел? Что то у вас другое блокирует. Посмотрите в профайлере, что происходит, или для начала в sp_who ... |
|||
:
Нравится:
Не нравится:
|
|||
16.12.2020, 16:17 |
|
BULK INSERT из SSIS
|
|||
---|---|---|---|
#18+
.Евгений Владислав Колосов SSIS как раз используют, чтобы избежать применения BULK INSERT В самом деле? Можете раскрыть тему этого избегания подробнее? Задача обработки потока данных. Источник, получатель. Всё. Нет никаких Bulk insert. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.12.2020, 18:19 |
|
BULK INSERT из SSIS
|
|||
---|---|---|---|
#18+
Владислав Колосов .Евгений пропущено... В самом деле? Можете раскрыть тему этого избегания подробнее? Задача обработки потока данных. Источник, получатель. Всё. Нет никаких Bulk insert. Ничего не понял. Почему данные из потока нельзя вычитывать проще - средствами СУБД (всякими курсорами, циклами, сервис брокерами, CLR, OLE, etc)? И почему поток данных надо вставлять без Bulk insert, искусственно тормозя работу? ... |
|||
:
Нравится:
Не нравится:
|
|||
16.12.2020, 18:43 |
|
BULK INSERT из SSIS
|
|||
---|---|---|---|
#18+
.Евгений, точно, не поняли. Bulk Insert использовать в составе SSIS пакета бессмысленно, как я уже писал. Это отдельно средство загрузки. авторПочему данные из потока нельзя вычитывать проще - средствами СУБД (всякими курсорами, циклами, сервис брокерами, CLR, OLE, etc) Интересный вопрос, похоже, что Вы SSIS в глаза не видели, иначе бы эту чепуху не писали. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.12.2020, 18:53 |
|
BULK INSERT из SSIS
|
|||
---|---|---|---|
#18+
Владислав Колосов Bulk Insert использовать в составе SSIS пакета бессмысленно, как я уже писал. Это отдельно средство загрузки. Опять вы соврамши. Bulk Insert - это название технологии. И ее использовать может ЛЮБОЙ клиент базы MS SQL. SSIS тоже использует. ЗЫ. Но я согласен. SSIS - это жуткий ацтой. Лучше им не пользоваться. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.12.2020, 19:00 |
|
BULK INSERT из SSIS
|
|||
---|---|---|---|
#18+
Владислав Колосов точно, не поняли. Bulk Insert использовать в составе SSIS пакета бессмысленно, как я уже писал. Это отдельно средство загрузки. Владислав Колосов авторПочему данные из потока нельзя вычитывать проще - средствами СУБД (всякими курсорами, циклами, сервис брокерами, CLR, OLE, etc) Лично я могу легко объяснить, почему я работаю с потоками данных через SSIS, а не через СУБД - потому что это выходит быстрее. И если я не стану использовать Bulk InsertFast Load, то вся выгода будет потеряна на этапе вставки в БД (собственно, я даже с Fast Load упираюсь в дисковый массив) . ... |
|||
:
Нравится:
Не нравится:
|
|||
16.12.2020, 19:12 |
|
BULK INSERT из SSIS
|
|||
---|---|---|---|
#18+
.Евгений Лично я могу легко объяснить, почему я работаю с потоками данных через SSIS, а не через СУБД - потому что это выходит быстрее. Модератор: aleks222, не нужно раздавать "оценки" участникам форума. Если вы без этого никак не можете, заведите блокнотик, записывайте их туда и радуйтесь, перечитывая ваши заметки. Последующий подобные сообщения будут приводить к банам с увеличивающимся сроком. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.12.2020, 19:23 |
|
BULK INSERT из SSIS
|
|||
---|---|---|---|
#18+
aleks222 ЗЫ. Любая прослойка между данными и СУБД может только замедлять. Я знаком с таким предрассудком со стороны программистов БД, представляющими средства ЕТЛ исключительно как гуевый дблинк. Я его даже отчасти разделял - примерно 10-15 лет назад. P.S. Лично я для своих задач считаю прослойкой именно СУБД. Все нужные данные должны быть в памяти процесса, а не где-то там... ... |
|||
:
Нравится:
Не нравится:
|
|||
16.12.2020, 20:44 |
|
BULK INSERT из SSIS
|
|||
---|---|---|---|
#18+
[quot .Евгений#22249302] aleks222 Все нужные данные должны быть в памяти процесса, а не где-то там... Слышал я про сервера с несколькими терабайтами оперативки, но работать с ними не довелось. Поэтому, так как не имею возможности держать эти терабайты в памяти процесса, использую БД. Что совсем не отменяет применения нежурналируемых потоковых вставок. Понимаю, у богатых свои причуды. Но держать под SSIS в резерве несколько терабайт оперативки мне кажется роскошью. Особенно, когда существенного прироста в производительности это все равно не дает. Так как упираемся в производительность SSD на сервере БД. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.12.2020, 22:25 |
|
BULK INSERT из SSIS
|
|||
---|---|---|---|
#18+
ptr128 Слышал я про сервера с несколькими терабайтами оперативки... Не-не-не, все совсем не так. Есть потребители данных, которые читают БД, а есть средство ЕТЛ, которому для работы нужна малая часть столбцов - ключи-идентификаторы (для их разрешения), хеш, версия. В 50Гб эта малая часть более-менее влезает, а что не влезает, то можно разбить на секции и подкачивать из БД по требованию. В результате ЕТЛ практически не занимает ресурсов основного сервера (кроме момента инициализации) и качает в него данные практически онлайн. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.12.2020, 23:18 |
|
BULK INSERT из SSIS
|
|||
---|---|---|---|
#18+
alexeyvg mullenberg BULK INSERTы, которые в итоге использует пакет, блокируют друг друга - хотя копирование идет из разных таблиц в разные. где возможно что-то недосмотрел? Что то у вас другое блокирует. Посмотрите в профайлере, что происходит, или для начала в sp_who Еще как могут. Если между таблицами взведена декларативная реляционная ссылочная целостность, или триггеры поналеплены. Тогда не только локи, но и дедлоки могут быть, ага. При вставке во вроде бы разные таблицы. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.12.2020, 07:23 |
|
BULK INSERT из SSIS
|
|||
---|---|---|---|
#18+
mullenberg для перекидывания данных был создан SSIS пакет, с простейшей логикой. переменной присваивается значение, эта переменная используется в запросах. и запускается копирование данных из разных таблиц, все параллельно. BULK INSERTы, которые в итоге использует пакет, блокируют друг друга - хотя копирование идет из разных таблиц в разные. где возможно что-то недосмотрел? SQL Server 2012 Enterprice Не совсем уверен, но если используется соединение типа ADO и там не настроено MARS, то можно получить блокировки ... |
|||
:
Нравится:
Не нравится:
|
|||
17.12.2020, 19:58 |
|
|
start [/forum/topic.php?fid=46&fpage=39&tid=1685283]: |
0ms |
get settings: |
9ms |
get forum list: |
10ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
29ms |
get topic data: |
8ms |
get forum data: |
2ms |
get page messages: |
44ms |
get tp. blocked users: |
1ms |
others: | 289ms |
total: | 398ms |
0 / 0 |