Гость
Войти | Профиль | Очистить
Действия ...
Форумы / IBExpert [игнор отключен] [закрыт для гостей] / Импорт из большого CSV / 4 сообщений из 4, страница 1 из 1
30.04.2017, 21:00
    #39446787
Kirill Razuvaev
Kirill Razuvaev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Импорт из большого CSV
Добрый день!
При попытке импорта данных из большого (2,59ГБ) CSV.
Разделитель полей - ,
Разделитель строк - LF
Строки короткие, в пределах 80 символов, поля числовые.
Первая строка с именами полей
Импорт в новую таблицу

После выбора файла и/или смены разделителей валится
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
Error Message:
----------------------------------------
Out of memory

[00404B66] System.@LStrSetLength + $22
[00F53EE5] ImportDataF.TImportDataForm.ChangeTimerTimer (Line 621, "ImportDataF.pas" + 38) + $3
[00472373] ExtCtrls.TTimer.Timer (Line 1322, "ExtCtrls.pas" + 1) + $E
[0044404C] Forms.StdWndProc (Line 1459, "Forms.pas" + 8) + $0
[0044D85B] Forms.TApplication.ProcessMessage (Line 6630, "Forms.pas" + 13) + $1
[00F52D4B] ImportDataF.ImportData (Line 278, "ImportDataF.pas" + 3) + $4
[004DF33C] dxBar.TdxBarItemControl.ControlUnclick (Line 22610, "dxBar.pas" + 28) + $7

IBE 2017.4.19.2
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
01.05.2017, 09:13
    #39446841
IBExpert
IBExpert
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Импорт из большого CSV
Там компоненты импорта сначала все в память пытаются засосать. Я в них ковыряться не буду.
Если нужно импортировать из большого CSV, то http://ibexpert.net/ibe/index.php?n=Doc.ScriptExecutive#Insertex
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.05.2017, 13:17
    #39447295
Kirill Razuvaev
Kirill Razuvaev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Импорт из большого CSV
Жаль. Объемы данных все время растут и необходимость удобного импорта больших объемов едва ли снизится.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.05.2017, 15:33
    #39447402
IBExpert
IBExpert
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Импорт из большого CSV
Kirill RazuvaevЖаль. Объемы данных все время растут и необходимость удобного импорта больших объемов едва ли снизится.

Ну уж импорт CSV-то автоматизируется проще некуда:
http://www.ibexpert.net/ibe/index.php?n=Doc.ImportingDataFromACSVFile

Ссылку на альтернативный вариант я уже дал.

Наконец, ничто не мешает порезать скриптом же файл на кусочки и скормить их друг за другом ibec_ImportData.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / IBExpert [игнор отключен] [закрыт для гостей] / Импорт из большого CSV / 4 сообщений из 4, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
созд. / загр.: 435ms
Закрыть
start [/forum/topic.php?fid=42&tablet=1&tid=1599104]:
 0ms
get settings:
 7ms
get forum list:
 11ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 69ms
get topic data:
 10ms
get forum data:
 2ms
get page messages:
 36ms
get tp. blocked users:
 1ms
others: 293ms
total:  435ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]