|
|
|
json 114ГБ
|
|||
|---|---|---|---|
|
#18+
Чертовски хочется вытянуть что-нибудь интересное для анализа из файлика JSON размером 114 ГИГ... Наверное, тут старый-добрый FOX бессилен? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.05.2020, 08:21 |
|
||
|
json 114ГБ
|
|||
|---|---|---|---|
|
#18+
Можно попробовать парсить как обычный файл fopen()/fread(). В переменную целиком не влезет, там 16 Мб потолок. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.05.2020, 08:27 |
|
||
|
json 114ГБ
|
|||
|---|---|---|---|
|
#18+
Dima T, ну да... это первым делом... только FOPEN матерится - invalid seek offset 1 ГИГ - без проблем 5 ГИГ - выдает "-1" 9 ГИГ и выше - invalid seek offset :( ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.05.2020, 08:33 |
|
||
|
json 114ГБ
|
|||
|---|---|---|---|
|
#18+
Точно, забыл что там 32 бита, 2 Гб потолок. Можно попробовать через WINAPI CreateFile()/SetFilePointer()/ReadFile() У SetFilePointer() есть дополнительный параметр PLONG lpDistanceToMoveHigh я так понимаю это старшие 32 бита смещения. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.05.2020, 09:13 |
|
||
|
json 114ГБ
|
|||
|---|---|---|---|
|
#18+
Как вариант: FSEEK() может смещаться относительно текущей позиции - попробуй сделать несколько FSEEK() по 1 Гб. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.05.2020, 09:21 |
|
||
|
json 114ГБ
|
|||
|---|---|---|---|
|
#18+
Redrik, Что там за структура? Залей в любую нормальную субд. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.05.2020, 09:33 |
|
||
|
json 114ГБ
|
|||
|---|---|---|---|
|
#18+
Dima T, FSEEK? Дык я ж его FOPENом нимагу асилить! :) Только WINAPI остается... Сразу за это и думал, да решил попробовать самим фоксом поизвращаться... Будем посмотреть! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.05.2020, 09:42 |
|
||
|
json 114ГБ
|
|||
|---|---|---|---|
|
#18+
Redrik Dima T, FSEEK? Дык я ж его FOPENом нимагу асилить! :) Только WINAPI остается... Сразу за это и думал, да решил попробовать самим фоксом поизвращаться... Будем посмотреть! Потестил, FOPENом не открывается 6.3 Гб. Я думал что ему без разницы на размер и в хэлпе ничего про ограничения. Тогда получается что штатными средствами никак. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.05.2020, 10:16 |
|
||
|
json 114ГБ
|
|||
|---|---|---|---|
|
#18+
crutchmaster, 5 миллионов деклараций всяких проходимцев структура - убиться можно! просто залить - нет смысла, т.к. куча ненужного потому, перед заливкой надо "вырезать" именно самое интересненькое... ;) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.05.2020, 10:26 |
|
||
|
json 114ГБ
|
|||
|---|---|---|---|
|
#18+
Dima TПотестил, FOPENом не открывается 6.3 Гб. Я думал что ему без разницы на размер и в хэлпе ничего про ограничения. Тогда получается что штатными средствами никак. таки да ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.05.2020, 10:27 |
|
||
|
json 114ГБ
|
|||
|---|---|---|---|
|
#18+
Redrik, mongodb попробуй. Она, вроде, как раз для всяких json'ов. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.05.2020, 10:45 |
|
||
|
json 114ГБ
|
|||
|---|---|---|---|
|
#18+
crutchmaster, хм... ну это уж слишком сурово для такой задачи! :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.05.2020, 11:16 |
|
||
|
json 114ГБ
|
|||
|---|---|---|---|
|
#18+
Redrik, Попробуй еще jq. Вроде как он должен быть потоковым и 120гб прожевать. https://stackoverflow.com/questions/32182087/processing-huge-json-array-files-with-jq ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.05.2020, 11:50 |
|
||
|
json 114ГБ
|
|||
|---|---|---|---|
|
#18+
Redrik 5 миллионов деклараций всяких проходимцев Может сначала порубить чем-нибудь на файлики помельче? Например 114 файлов по 1 Гб ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.05.2020, 12:16 |
|
||
|
json 114ГБ
|
|||
|---|---|---|---|
|
#18+
Dima T Redrik 5 миллионов деклараций всяких проходимцев Может сначала порубить чем-нибудь на файлики помельче? Например 114 файлов по 1 Гб Запустил "GSplit" - сказал ему нарубить по 2 Гб... Посмотрим! ))) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.05.2020, 13:49 |
|
||
|
json 114ГБ
|
|||
|---|---|---|---|
|
#18+
Прекрасно покромсало! ))) 58 файлов... 57 по 2`000`000`000 58-ой - 453`383`321 Вот теперь можно и поковыряться! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.05.2020, 15:22 |
|
||
|
|
start [/forum/topic.php?fid=41&fpage=4&tid=1581556]: |
0ms |
get settings: |
11ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
59ms |
get topic data: |
13ms |
get forum data: |
3ms |
get page messages: |
52ms |
get tp. blocked users: |
2ms |
| others: | 12ms |
| total: | 174ms |
| 0 / 0 |
