|
Загрузка данных из большого файла
|
|||
---|---|---|---|
#18+
estro, Кинь структуру. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.05.2020, 12:38 |
|
Загрузка данных из большого файла
|
|||
---|---|---|---|
#18+
estro id повторяются, не уникальные для всей БД. Ничего не мешает по списку id grep'ать и по регулярке. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.05.2020, 12:39 |
|
Загрузка данных из большого файла
|
|||
---|---|---|---|
#18+
crutchmaster, Чем может помочь структура? ... |
|||
:
Нравится:
Не нравится:
|
|||
20.05.2020, 13:00 |
|
Загрузка данных из большого файла
|
|||
---|---|---|---|
#18+
estro, Мыслей может подкинет. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.05.2020, 13:01 |
|
Загрузка данных из большого файла
|
|||
---|---|---|---|
#18+
crutchmaster, grep не выход еще и потому, что сегодня нужны эти организации, завтра другие. Буду грузить sqlcmd, до ошибки, потом обрубать загруженное сверху и дальше грузить. Осталось придумать как обрубать сверху и сохранить то что снизу. Но копать пока буду в этом направлении. :) ... |
|||
:
Нравится:
Не нравится:
|
|||
20.05.2020, 13:02 |
|
Загрузка данных из большого файла
|
|||
---|---|---|---|
#18+
estro Осталось придумать как обрубать сверху и сохранить то что снизу. tail :) ... |
|||
:
Нравится:
Не нравится:
|
|||
20.05.2020, 13:06 |
|
Загрузка данных из большого файла
|
|||
---|---|---|---|
#18+
estro Буду грузить sqlcmd, до ошибки, потом обрубать загруженное сверху и дальше грузить. Осталось придумать как обрубать сверху и сохранить то что снизу. полагаю, что структура залилась успешно в итоге касательно данных: разбейте инсерты по-таблично на отдельные файлы, так хоть сузите проблемную зону ... |
|||
:
Нравится:
Не нравится:
|
|||
20.05.2020, 14:33 |
|
Загрузка данных из большого файла
|
|||
---|---|---|---|
#18+
L_argo Нестандартное мышление С таким подходом предлагаю распечатать файл на бумаге в ворде и посадить оператора вводить данные вручную. Эффект 146% Мой опыт показывает, что такой подход работает. Мне попадались разные файлы с данными. И часто приходилось к ним делать "индивидуальный подход", т.к. стандартные инструменты откровенно пасовали. В этих файлах встречались: глючные строки, разделители, форматы, разнородные форматы (н-р дат или чисел), автозамены каких-то спецсимволов, мягкие переносы, двойные переносы, БОМы, хаос с кавычками и т.д. Помню встретился в теле файла древний символ "конец данных". Не помню его аски-номера, но был такой. Стандартный импорт тупо стопорил на этом символе, а текстовый редактор его показывал обычным пробелом. Пришлось призадуматься. Благо, что нашел и все зашло стандартно. "А ты говоришь купаться — вода холодная" (с) Если это рабочий SQL скрипт, то он формализован. Ошибок в нем быть не должно. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.05.2020, 15:18 |
|
Загрузка данных из большого файла
|
|||
---|---|---|---|
#18+
Нестандартное мышление, Не должно но вот вышло. В общем сделал в windows: геморно, не по феншую, но потратил менее часа и теперь грузится. В Тотал коммандере воспользовался функцией разбить файл, поделив 43 гб на 11 файлов по 4 гб. Затем EditPadLite открывал файлы и приводил сверху и снизу к оконченному варианту (строки состыковывал). Затем UltraEdit Text Editor конвертировал файл в ANSI, при этом размер уменьшался в 2 раза. И затем sqlcmd гружу. Если пара файлов без ошибок загрузится, запущу батник на ночь. Всем спасибо, очень помогли ( с Оракла уйду на постгрес :) ) ... |
|||
:
Нравится:
Не нравится:
|
|||
20.05.2020, 15:49 |
|
Загрузка данных из большого файла
|
|||
---|---|---|---|
#18+
estro Затем UltraEdit Text Editor конвертировал файл в ANSI, при этом размер уменьшался в 2 раза. FYI Это вы потеряли юникод - читай информацию, если там были символы юникодные типа ё всяких. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.05.2020, 16:47 |
|
|
start [/forum/topic.php?fid=46&msg=39959833&tid=1686103]: |
0ms |
get settings: |
14ms |
get forum list: |
16ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
35ms |
get topic data: |
10ms |
get forum data: |
3ms |
get page messages: |
54ms |
get tp. blocked users: |
1ms |
others: | 284ms |
total: | 423ms |
0 / 0 |