Имеется csv файл с заранее неопределенным количеством строк и "столбцов". Требуется по определенному алгоритму (пока не известен, но не в этом суть) обработать данные из файла. Например, подсчитать среднеарифметическое всех чисел из файла.
Где лучше хранить данные из файла? В субд как вариант, но тогда придется ставить субд на машину. В памяти - неизвестен заранее размер файла, может и памяти не хватит. Построчное чтение и обработка не подходит. Есть еще варианты?

pationsaxixИмеется csv файл с заранее неопределенным количеством строк и "столбцов". Требуется по определенному алгоритму (пока не известен, но не в этом суть) обработать данные из файла. Например, подсчитать среднеарифметическое всех чисел из файла.
Где лучше хранить данные из файла? В субд как вариант, но тогда придется ставить субд на машину. В памяти - неизвестен заранее размер файла, может и памяти не хватит. Построчное чтение и обработка не подходит. Есть еще варианты?

не нужно засовывать в память весь файл , обрабатывай его построчно.
Потому что на один файл, возможно, несколько инструкций для обработки, которые нельзя будет выполнять одновременно. Тогда придется файл перебирать построчно несколько раз. Вообще пока нет представления о размере файла и алгоритме обработки, просто присматриваю "технологии"

ИзопропилsaxixПотому что на один файл, возможно, несколько инструкций для обработки, которые нельзя будет выполнять одновременно.
это почему нельзя?
один итератор, несколько подписчиков, например
Задача пока стоит невнятная, но типа....сначала подсчитали одно, через пять минут понадобилось другое. И заранее все алгоритмы обработки не известны.

Счас смотрю в сторону sqlLite

carrotikИзопропилпропущено...

только этого геморроя не хватает

...автор не хотел ставить даже Express версии SQL/Firebird, если я правильно понял ....
Да мне то все равно, но по требованиям - как можно меньше телодвижений для админов

Попробовал sqlLite и грузить данные через insert into....скорость около 1000 записей в минуту (((

Cat2saxixПопробовал sqlLite и грузить данные через insert into....скорость около 1000 записей в минуту (((

bulk insert - bcp !!!
Это в MS SQL

Cat2saxixПопробовал sqlLite и грузить данные через insert into....скорость около 1000 записей в минуту (((

bulk insert - bcp !!!
авторCSV Import

Use the ".import" command to import CSV (comma separated value) data into an SQLite table. The ".import" command takes two arguments which are the name of the disk file from which CSV data is to be read and the name of the SQLite table into which the CSV data is to be inserted.

Note that it is important to set the "mode" to "csv" before running the ".import" command. This is necessary to prevent the command-line shell from trying to interpret the input file text as some other format.

sqlite> .mode csv
sqlite> .import C:/work/somedata.csv tab1
There are two cases to consider: (1) Table "tab1" does not previously exist and (2) table "tab1" does already exist.

In the first case, when the table does not previously exist, the table is automatically created and the content of the first row of the input CSV file is used to determine the name of all the columns in the table. In other words, if the table does not previously exist, the first row of the CSV file is interpreted to be column names and the actual data starts on the second row of the CSV file.

For the second case, when the table already exists, every row of the CSV file, including the first row, is assumed to be actual content. If the CSV file contains an initial row of column labels, that row will be read as data and inserted into the table. To avoid this, make sure that table does not previously exist.

ИзопропилsaxixВообще пока нет представления о размере файла и алгоритме обработки,
может сначала лучше определиться ?

а потом технологию подбирать
попросили ))))

Dima TsaxixПопробовал sqlLite и грузить данные через insert into....скорость около 1000 записей в минуту (((
Тут пишут миллион за полминуты
Попробую с transaction. У меня еще полей в файле полсотни

saxixDima Tпропущено...

Тут пишут миллион за полминуты
Попробую с transaction. У меня еще полей в файле полсотни
Хрень какая-то. 2000 записей за 2 секунды. Поставил commit на каждой сотой записи и так скорость возросла. Спасибо за подсказку

Dima Tsaxixпропущено...

Хрень какая-то. 2000 записей за 2 секунды. Поставил commit на каждой сотой записи и так скорость возросла. Спасибо за подсказку
Это стандартный прием для любой СУБД, т.к. без транзакции фиксация изменений происходит после каждой записи.
Попробуй с разобраться с CSV Import, думаю еще быстрее будет.

Советую профильный форум почитать, поспрашивать, может еще чего подскажут. Немного почитал, предлагают CSV Import использовать в подобных ситуациях.
Да как-то не хочется дергать внешние программы. Но если записей будет много, то придется.

ИзопропилsaxixДа как-то не хочется дергать внешние программы
по религиозным мотивам?
Что-то типа того. Это ж придется дополнительные программы таскать с дистрибутивом. И для каждой платформы свой дистрибутив (я на Java пишу )))))

Изопропилsaxixя на Java пишу )))
в мне показалось, что топик в разделе дотнет
Знаете, в данном случае разницы нет
Но здесь быстрее ответят )

ИзопропилsaxixЗнаете, в данном случае разницы нет
попробуй как derby себя поведёт со штатным SYSCS_UTIL.SYSCS_IMPORT_TABLE
Derby поддерживает меньшее кол-во ОС

ИзопропилsaxixDerby поддерживает меньшее кол-во ОС
ты точно на Java пишешь?
Угу.
Короче. Загрузил я за 50 мин. 12 млн. записей. На select count запрос встал "ра..". Полей больше полусотни

Cat2saxixпропущено...

Угу.
Короче. Загрузил я за 50 мин. 12 млн. записей. На select count запрос встал "ра..". Полей больше полусотни
Потому что надо для таких количеств использовать нормальные базы, а не то "что бы без установки и что бы ничего не делать админам"
ТЗ - есть ТЗ. Сам уже наткнулся на кучу "проблем". Если хочу использовать в скрипте функции SQRT и подобные .... математические - надо долго бубном стучать.

ИзопропилsaxixТребуется по определенному алгоритму (пока не известен, но не в этом суть)
saxixТЗ - есть ТЗ.

у меня когнитивный диссонанс
Зеленый чай поможет.
В ТЗ "на словах" указан язык программирования, база данных и приблизительный алгоритм без уточнений

Изопропилесли БД указана в ТЗ - к чему тогда мучительные поиски?
Указано, что должна быть файловая СУБД. Уже остановился на sqlLite