Кто как в Synapse решает вопросы с широкими таблицами?
ежедневно ADF-ом тащим SAP-овские экстракты десятками гигабайт из Oracle
напрямую через BulkInsert (т.е. без ADLS как промежуточное звено, чтобы не
возится с разделителями которые могут попадаться с самом тексте колонны)
шириной по 700+ текстовых колонн - так постоянно приходится
усекать на половину (не сами колонны до varchar(8000), а их количество)
из-за ColumnStore требований перейти на более высокий DWU

п.с. у нас dedicated, а не serverless

H5N1,

Если чисто из-за них в ADLS/Parquet тащить - то там разделители дело вторичное
(и пока везёт - никто на исключение полей с длинными описаниями не жаловался)
так что легче исключить чем копаться в не-приоритетной задаче..
Основная проблема именно в нюансах работы Synapse с текстовыми полями и особенно когда их так много
nvarchar в varchar конвертировать не проблема - хотя и муторно конечно динамическую конвертацию
писать для сотен таблиц, даже trim() для надёжности можно, самый затык почему Ярославна плачет - именно
в том что Synapse для таких широких текстовых данных не предназначен, т.е. интересуют идеи по решению
таких ситуаций (кроме как банального - не тащи в Synapse)
Жалуется что не хватает ресурса (памяти) для расчёта ColumnStore (а varchar поля с описаниями повсюду)