powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Загрузка данных из большого файла
11 сообщений из 36, страница 2 из 2
Загрузка данных из большого файла
    #39959823
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
estro,

Кинь структуру.
...
Рейтинг: 0 / 0
Загрузка данных из большого файла
    #39959824
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
estro
id повторяются, не уникальные для всей БД.

Ничего не мешает по списку id grep'ать и по регулярке.
...
Рейтинг: 0 / 0
Загрузка данных из большого файла
    #39959830
estro
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
crutchmaster,

Чем может помочь структура?
...
Рейтинг: 0 / 0
Загрузка данных из большого файла
    #39959833
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
estro,

Мыслей может подкинет.
...
Рейтинг: 0 / 0
Загрузка данных из большого файла
    #39959835
estro
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
crutchmaster,
grep не выход еще и потому, что сегодня нужны эти организации, завтра другие.
Буду грузить sqlcmd, до ошибки, потом обрубать загруженное сверху и дальше грузить. Осталось придумать как обрубать сверху и сохранить то что снизу.
Но копать пока буду в этом направлении. :)
...
Рейтинг: 0 / 0
Загрузка данных из большого файла
    #39959836
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
estro
Осталось придумать как обрубать сверху и сохранить то что снизу.

tail
:)
...
Рейтинг: 0 / 0
Загрузка данных из большого файла
    #39959860
Фотография komrad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
estro

Буду грузить sqlcmd, до ошибки, потом обрубать загруженное сверху и дальше грузить. Осталось придумать как обрубать сверху и сохранить то что снизу.

полагаю, что структура залилась успешно в итоге
касательно данных: разбейте инсерты по-таблично на отдельные файлы, так хоть сузите проблемную зону
...
Рейтинг: 0 / 0
Загрузка данных из большого файла
    #39959880
Нестандартное мышление
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
L_argo
Нестандартное мышление
С таким подходом предлагаю распечатать файл на бумаге в ворде и посадить оператора вводить данные вручную.
Эффект 146%
Это бла-бла-бла поумничать ниачомъ.
Мой опыт показывает, что такой подход работает. Мне попадались разные файлы с данными. И часто приходилось к ним делать "индивидуальный подход", т.к. стандартные инструменты откровенно пасовали.
В этих файлах встречались: глючные строки, разделители, форматы, разнородные форматы (н-р дат или чисел), автозамены каких-то спецсимволов, мягкие переносы, двойные переносы, БОМы, хаос с кавычками и т.д.

Помню встретился в теле файла древний символ "конец данных". Не помню его аски-номера, но был такой. Стандартный импорт тупо стопорил на этом символе, а текстовый редактор его показывал обычным пробелом. Пришлось призадуматься. Благо, что нашел и все зашло стандартно.

"А ты говоришь купаться — вода холодная" (с)


Если это рабочий SQL скрипт, то он формализован. Ошибок в нем быть не должно.
...
Рейтинг: 0 / 0
Загрузка данных из большого файла
    #39959902
estro
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Нестандартное мышление,

Не должно но вот вышло. В общем сделал в windows: геморно, не по феншую, но потратил менее часа и теперь грузится.
В Тотал коммандере воспользовался функцией разбить файл, поделив 43 гб на 11 файлов по 4 гб.
Затем EditPadLite открывал файлы и приводил сверху и снизу к оконченному варианту (строки состыковывал).
Затем UltraEdit Text Editor конвертировал файл в ANSI, при этом размер уменьшался в 2 раза.
И затем sqlcmd гружу. Если пара файлов без ошибок загрузится, запущу батник на ночь.
Всем спасибо, очень помогли ( с Оракла уйду на постгрес :) )
...
Рейтинг: 0 / 0
Загрузка данных из большого файла
    #39959948
PizzaPizza
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
estro

Затем UltraEdit Text Editor конвертировал файл в ANSI, при этом размер уменьшался в 2 раза.


FYI Это вы потеряли юникод - читай информацию, если там были символы юникодные типа ё всяких.
...
Рейтинг: 0 / 0
Загрузка данных из большого файла
    #39959987
estro
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
PizzaPizza,
О как, спасибо, буду копать в этом направлении.
...
Рейтинг: 0 / 0
11 сообщений из 36, страница 2 из 2
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Загрузка данных из большого файла
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]