Здравствуйте, имеется файл который содержит данные в JSON формате, его размер около 200 гигабайт.
Данные имеют следующий формат:




Мне необходимо импортировать значения из "host" ключа в базу, в колонку host.
Опыта у меня не много, и пока что поиск привел только к разным костылям. Например, испорт всего файла в колонку, а затем уже его парсинг ( https://info.crunchydata.com/blog/fast-csv-and-json-ingestion-in-postgresql-with-copy) - что мне кажется не совсем корректно. Даже не знаю сколько это может занять времени для такого большего файла.

Прошу подсказать как более грамотно реализовать импорт данных из файлв в JSON формате. Буду рад примерам, это очень мне поможет, спасибо.

Похоже что PostgreSQL не имеет функции импорта необработанных данных JSON непосредственно из файла. Но я конечно могу ошибаться. Прошу помощи, ведь наверняка кто-то еще сталкивался с подобным.

Maxim Boguk,

Спасибо за ответ.
авторETL это вообще не задача базы...
Хм, как то не пришел к этой мысли сам. Как быть в моей ситуации, может быть мне стоит тогда JSON конвентировать в CVS, и уже его импортировать? Тут с CVS форматом не должно быть никаких проблем. Просто из-за отсутствия опыта не могу наиболее корректно решить эту задачу.