Импорт из большого CSV / IBExpert

ReSQL.ru

Мобильная версия Контакт Правила FAQ Помощь

Гость

Войти | Регистрация | Профиль | Очистить

Новые сообщения | Избранное

Форумы | Пользователи | Статистика | Мод. лог | Поиск

Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр

Форумы / IBExpert [игнор отключен] [закрыт для гостей] / Импорт из большого CSV

4 сообщений из 4, страница 1 из 1

Импорт из большого CSV

#39446787

Kirill Razuvaev

Участник

Откуда: Ленинград

Сообщения: 1 281

Рейтинг: 0 / 0

Добрый день!
При попытке импорта данных из большого (2,59ГБ) CSV.
Разделитель полей - ,
Разделитель строк - LF
Строки короткие, в пределах 80 символов, поля числовые.
Первая строка с именами полей
Импорт в новую таблицу

После выбора файла и/или смены разделителей валится

Код: plaintext

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.

Error Message:
----------------------------------------
Out of memory

[00404B66] System.@LStrSetLength + $22
[00F53EE5] ImportDataF.TImportDataForm.ChangeTimerTimer (Line 621, "ImportDataF.pas" + 38) + $3
[00472373] ExtCtrls.TTimer.Timer (Line 1322, "ExtCtrls.pas" + 1) + $E
[0044404C] Forms.StdWndProc (Line 1459, "Forms.pas" + 8) + $0
[0044D85B] Forms.TApplication.ProcessMessage (Line 6630, "Forms.pas" + 13) + $1
[00F52D4B] ImportDataF.ImportData (Line 278, "ImportDataF.pas" + 3) + $4
[004DF33C] dxBar.TdxBarItemControl.ControlUnclick (Line 22610, "dxBar.pas" + 28) + $7

IBE 2017.4.19.2

...

Рейтинг:

0 / 0

30.04.2017, 21:00

| Ответить | Цитировать | Написать

Импорт из большого CSV

#39446841

IBExpert

Участник

Откуда: От верблюда

Сообщения: 3 728

Рейтинг: 0 / 0

Там компоненты импорта сначала все в память пытаются засосать. Я в них ковыряться не буду.
Если нужно импортировать из большого CSV, то http://ibexpert.net/ibe/index.php?n=Doc.ScriptExecutive#Insertex

...

Рейтинг:

0 / 0

01.05.2017, 09:13

| Ответить | Цитировать | Написать

Импорт из большого CSV

#39447295

Kirill Razuvaev

Участник

Откуда: Ленинград

Сообщения: 1 281

Рейтинг: 0 / 0

Жаль. Объемы данных все время растут и необходимость удобного импорта больших объемов едва ли снизится.

...

Рейтинг:

0 / 0

02.05.2017, 13:17

| Ответить | Цитировать | Написать

Импорт из большого CSV

#39447402

IBExpert

Участник

Откуда: От верблюда

Сообщения: 3 728

Рейтинг: 0 / 0

Kirill RazuvaevЖаль. Объемы данных все время растут и необходимость удобного импорта больших объемов едва ли снизится.

Ну уж импорт CSV-то автоматизируется проще некуда:
http://www.ibexpert.net/ibe/index.php?n=Doc.ImportingDataFromACSVFile

Ссылку на альтернативный вариант я уже дал.

Наконец, ничто не мешает порезать скриптом же файл на кусочки и скормить их друг за другом ibec_ImportData.

...

Рейтинг:

0 / 0

02.05.2017, 15:33

| Ответить | Цитировать | Написать

4 сообщений из 4, страница 1 из 1

Форумы / IBExpert [игнор отключен] [закрыт для гостей] / Импорт из большого CSV

Цитировать

Написать

Автор*:

Ввести пароль для входа

Тема*:

Сообщение

Данное сообщение тематическое

Сообщение содержит картинки или видео 18+

Автор:

ВНИМАНИЕ! На данном подфоруме действуют строгие правила. Удостоверьтесь, что ваше сообщение соответствует им!

Форум или тема закрыты для гостей. Необходима авторизация!

Загрузить последнюю сохраненную версию

Вложение:

Вставить как галерею

Максимальный размер вложений: 4,0 МБ, аудио/видео: 8,0 МБ. Картинки большего размера ужимаются, если возможно.

Введите код, изображенный на картинке. Если код нечитаемый, кликните картинку, чтобы загрузить другой вариант.

Отправляя сообщение, я выражаю свое согласие с правилами форума и принимаю пользовательское соглашение.

Читали тему (0):

Читали форум (0):

Пользователи онлайн (0):

start [/forum/moderation_log.php?user_name=Night_Harpy]:	0ms
get settings:	9ms
get forum list:	16ms
get settings:	9ms
get forum list:	12ms
check forum access:	2ms
check topic access:	2ms
track hit:	132ms
get topic data:	9ms
get forum data:	3ms
get page messages:	47ms
get tp. blocked users:	2ms
others:	490ms

total:	733ms