Имеется csv файл с заранее неопределенным количеством строк и "столбцов". Требуется по определенному алгоритму (пока не известен, но не в этом суть) обработать данные из файла. Например, подсчитать среднеарифметическое всех чисел из файла.
Где лучше хранить данные из файла? В субд как вариант, но тогда придется ставить субд на машину. В памяти - неизвестен заранее размер файла, может и памяти не хватит. Построчное чтение и обработка не подходит. Есть еще варианты?

pationsaxixИмеется csv файл с заранее неопределенным количеством строк и "столбцов". Требуется по определенному алгоритму (пока не известен, но не в этом суть) обработать данные из файла. Например, подсчитать среднеарифметическое всех чисел из файла.
Где лучше хранить данные из файла? В субд как вариант, но тогда придется ставить субд на машину. В памяти - неизвестен заранее размер файла, может и памяти не хватит. Построчное чтение и обработка не подходит. Есть еще варианты?

не нужно засовывать в память весь файл , обрабатывай его построчно.
Потому что на один файл, возможно, несколько инструкций для обработки, которые нельзя будет выполнять одновременно. Тогда придется файл перебирать построчно несколько раз. Вообще пока нет представления о размере файла и алгоритме обработки, просто присматриваю "технологии"

ИзопропилsaxixПотому что на один файл, возможно, несколько инструкций для обработки, которые нельзя будет выполнять одновременно.
это почему нельзя?
один итератор, несколько подписчиков, например
Задача пока стоит невнятная, но типа....сначала подсчитали одно, через пять минут понадобилось другое. И заранее все алгоритмы обработки не известны.

Счас смотрю в сторону sqlLite

carrotikИзопропилпропущено...

только этого геморроя не хватает

...автор не хотел ставить даже Express версии SQL/Firebird, если я правильно понял ....
Да мне то все равно, но по требованиям - как можно меньше телодвижений для админов

Попробовал sqlLite и грузить данные через insert into....скорость около 1000 записей в минуту (((

Cat2saxixПопробовал sqlLite и грузить данные через insert into....скорость около 1000 записей в минуту (((

bulk insert - bcp !!!
Это в MS SQL

Cat2saxixПопробовал sqlLite и грузить данные через insert into....скорость около 1000 записей в минуту (((

bulk insert - bcp !!!
авторCSV Import

Use the ".import" command to import CSV (comma separated value) data into an SQLite table. The ".import" command takes two arguments which are the name of the disk file from which CSV data is to be read and the name of the SQLite table into which the CSV data is to be inserted.

Note that it is important to set the "mode" to "csv" before running the ".import" command. This is necessary to prevent the command-line shell from trying to interpret the input file text as some other format.

sqlite> .mode csv
sqlite> .import C:/work/somedata.csv tab1
There are two cases to consider: (1) Table "tab1" does not previously exist and (2) table "tab1" does already exist.

In the first case, when the table does not previously exist, the table is automatically created and the content of the first row of the input CSV file is used to determine the name of all the columns in the table. In other words, if the table does not previously exist, the first row of the CSV file is interpreted to be column names and the actual data starts on the second row of the CSV file.

For the second case, when the table already exists, every row of the CSV file, including the first row, is assumed to be actual content. If the CSV file contains an initial row of column labels, that row will be read as data and inserted into the table. To avoid this, make sure that table does not previously exist.