|
Действия ...
Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
|
19.05.2020, 08:21
|
|||
|---|---|---|---|
json 114ГБ |
|||
|
#18+
Чертовски хочется вытянуть что-нибудь интересное для анализа из файлика JSON размером 114 ГИГ... Наверное, тут старый-добрый FOX бессилен? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
19.05.2020, 08:27
|
|||
|---|---|---|---|
json 114ГБ |
|||
|
#18+
Можно попробовать парсить как обычный файл fopen()/fread(). В переменную целиком не влезет, там 16 Мб потолок. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
19.05.2020, 08:33
|
|||
|---|---|---|---|
json 114ГБ |
|||
|
#18+
Dima T, ну да... это первым делом... только FOPEN матерится - invalid seek offset 1 ГИГ - без проблем 5 ГИГ - выдает "-1" 9 ГИГ и выше - invalid seek offset :( ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
19.05.2020, 09:13
|
|||
|---|---|---|---|
json 114ГБ |
|||
|
#18+
Точно, забыл что там 32 бита, 2 Гб потолок. Можно попробовать через WINAPI CreateFile()/SetFilePointer()/ReadFile() У SetFilePointer() есть дополнительный параметр PLONG lpDistanceToMoveHigh я так понимаю это старшие 32 бита смещения. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
19.05.2020, 09:21
|
|||
|---|---|---|---|
json 114ГБ |
|||
|
#18+
Как вариант: FSEEK() может смещаться относительно текущей позиции - попробуй сделать несколько FSEEK() по 1 Гб. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
19.05.2020, 09:33
|
|||
|---|---|---|---|
|
|||
json 114ГБ |
|||
|
#18+
Redrik, Что там за структура? Залей в любую нормальную субд. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
19.05.2020, 09:42
|
|||
|---|---|---|---|
json 114ГБ |
|||
|
#18+
Dima T, FSEEK? Дык я ж его FOPENом нимагу асилить! :) Только WINAPI остается... Сразу за это и думал, да решил попробовать самим фоксом поизвращаться... Будем посмотреть! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
19.05.2020, 10:16
|
|||
|---|---|---|---|
json 114ГБ |
|||
|
#18+
Redrik Dima T, FSEEK? Дык я ж его FOPENом нимагу асилить! :) Только WINAPI остается... Сразу за это и думал, да решил попробовать самим фоксом поизвращаться... Будем посмотреть! Потестил, FOPENом не открывается 6.3 Гб. Я думал что ему без разницы на размер и в хэлпе ничего про ограничения. Тогда получается что штатными средствами никак. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
19.05.2020, 10:26
|
|||
|---|---|---|---|
json 114ГБ |
|||
|
#18+
crutchmaster, 5 миллионов деклараций всяких проходимцев структура - убиться можно! просто залить - нет смысла, т.к. куча ненужного потому, перед заливкой надо "вырезать" именно самое интересненькое... ;) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
19.05.2020, 10:27
|
|||
|---|---|---|---|
json 114ГБ |
|||
|
#18+
Dima TПотестил, FOPENом не открывается 6.3 Гб. Я думал что ему без разницы на размер и в хэлпе ничего про ограничения. Тогда получается что штатными средствами никак. таки да ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
19.05.2020, 10:45
|
|||
|---|---|---|---|
|
|||
json 114ГБ |
|||
|
#18+
Redrik, mongodb попробуй. Она, вроде, как раз для всяких json'ов. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
19.05.2020, 11:16
|
|||
|---|---|---|---|
json 114ГБ |
|||
|
#18+
crutchmaster, хм... ну это уж слишком сурово для такой задачи! :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
19.05.2020, 11:50
|
|||
|---|---|---|---|
|
|||
json 114ГБ |
|||
|
#18+
Redrik, Попробуй еще jq. Вроде как он должен быть потоковым и 120гб прожевать. https://stackoverflow.com/questions/32182087/processing-huge-json-array-files-with-jq ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
19.05.2020, 12:16
|
|||
|---|---|---|---|
json 114ГБ |
|||
|
#18+
Redrik 5 миллионов деклараций всяких проходимцев Может сначала порубить чем-нибудь на файлики помельче? Например 114 файлов по 1 Гб ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
19.05.2020, 13:49
|
|||
|---|---|---|---|
json 114ГБ |
|||
|
#18+
Dima T Redrik 5 миллионов деклараций всяких проходимцев Может сначала порубить чем-нибудь на файлики помельче? Например 114 файлов по 1 Гб Запустил "GSplit" - сказал ему нарубить по 2 Гб... Посмотрим! ))) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
19.05.2020, 15:22
|
|||
|---|---|---|---|
json 114ГБ |
|||
|
#18+
Прекрасно покромсало! ))) 58 файлов... 57 по 2`000`000`000 58-ой - 453`383`321 Вот теперь можно и поковыряться! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
start [/forum/topic.php?fid=41&tablet=1&tid=1581556]: |
0ms |
get settings: |
11ms |
get forum list: |
15ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
30ms |
get topic data: |
13ms |
get forum data: |
3ms |
get page messages: |
57ms |
get tp. blocked users: |
2ms |
| others: | 12ms |
| total: | 151ms |
| 0 / 0 |
