Мимопроходящий01.11.2017 14:20, Андрей Игоревич пишет:
> Эти данные я получаю уже в готовом виде, да и ничего особенного тут нет, обычные поля (нейтронные, температурные)
> в пространстве и времени, просто поля в геометрии задаются исходя из особенностей
> конструкции. При том сетка по высоте и времени далеко не плотная.

Андрей, а почему не Fortran?

А почему Фортран? :). А вообще потому что не умею :). И не очень авторитетные источники утверждают, что делфи не сильно то и медленней фортрана (сам не проверял). С высокой долей вероятности эти файлы получены в результате расчетов программах на фортране). Как там с фортраном в части интерфейса?

kealon(Ruslan)Андрей Игоревичпропущено...

Эти данные я получаю уже в готовом виде, да и ничего особенного тут нет, обычные поля (нейтронные, температурные) в пространстве и времени, просто поля в геометрии задаются исходя из особенностей конструкции. При том сетка по высоте и времени далеко не плотная.привет, опять пытаешь диск.
Надо задачу определить которую хочешь решить, БД ИМХО не спасёт.

для начала может исходные текстовки в бинарные перевести, что бы диск не терроризировать, заодно структуру и объём узнаешь

Ну структуру и объем я сразу знаю, там все относительно хорошо структурировано (каждый уровень обозначен и подписан понятным способом). А в бинарники я первым делом и планировал загнать, просто хотел сразу всё, но видать не судьба, придется кусками.

Тут принято на каждый вопрос свою тему или можно продолжать в старой?

Просто возникла следующая сложность.
В основной программе где уже много всего текстовые файлы считываются в 10-100 раз медленней, чем в другой программе, ну или просто в чистой, только со считыванием.

Для чистоты эксперимента код в чистой и основной программе упростил до нескольких строк, ничего нигде при работе цикла не подключается. (ну для себя всякие таймеры подключал для удобства, на суть они не виляют).
Основная программа прогоняет исходный текстовый файл в 3 гб (кстати 1-2 гб они только заархивированные были) за дикие 15-30 минут, чистая программа - за 1 минуту 12 секунд в среднем.

Есть и другая программа где я уже обрабатывал куски этих файлов (и ещё не столкнулся с проблемами огромных массивов), там тоже всё шустро работает.

По какой причине, абсолютно один и тот же код выполняется настолько разное время? Где искать проблему? Модули подключил везде одни и те же. Отключение мегамасива не влияет.


procedure TForm1.Button1Click(Sender: TObject);
var tf:TextFile;

FS,PoF,PZ,tmp:integer;
st:string;
begin
OpenDialog1.Execute;
Reset (TF,OpenDialog1.FileName);
if FileExists(OpenDialog1.FileName) then
while (not EOF (TF)) do Readln(TF,St);
closefile (TF);
end;

white_niggerАндрей Игоревичprocedure TForm1.Button1Click(Sender: TObject);
var tf:TextFile;

FS,PoF,PZ,tmp:integer;
st:string;
begin
OpenDialog1.Execute;
Reset (TF,OpenDialog1.FileName);
if FileExists(OpenDialog1.FileName) then
while (not EOF (TF)) do Readln(TF,St);
closefile (TF);
end;Не делай так, если времени жалко. Уж лучше TStrings.LoadFromFile




для данных 3хгиговых файлов выдает зиро (0), для остальных небольших текстовых файлов - все нормально, подозреваю что стринглист такие файлы не осилит

defecatorwhite_niggerпропущено...
Не делай так, если времени жалко. Уж лучше TStrings.LoadFromFile
у него файлы по 10-40 гигабайт

Ну файлы по 2-3 гб, просто их до 20 штук. (Один файл - один год эксплуатации)

Kazantsev AlexeyАндрей ИгоревичПо какой причине, абсолютно один и тот же код выполняется настолько разное время? Где искать проблему?
Запускаешь из среды и ту и другую?
Да, из одной и той же среды, в обеих случая скорость явно упирается в процессор (1 ядро на максимум занимают), многозадачность пока не уметь. Если успею даже с 10.1 попробую запустить, если она скушает.

Kazantsev AlexeyАндрей ИгоревичДа, из одной и той же среды
Под средой я имею ввиду IDE. То есть и "быстрая" программа запускается из-под IDE и "медленная"? Если нет, но вероятно влияние отладчика.

Не совсем понимаю, что тут подразумевается под IDE, но запускаю два раза программу с логичным именем Delphi 7 (которая и язык и среда, пароход), в одной компилирую и тестирую одну программу, в другой - другую. Запускаю не одновременно.
Сейчас запустил и скомлировал в Delphi 10.1 (уж не знаю как там теперь называют используемый язык, паскаль, делфе, делфи 7 или делфи 10), считало файл за 1 минуту, и правда - виноват компилятор. Хорошо, что не делал отдельную тему на сей глупый вопрос.

П.С. Удивительно, что в делфи 10 Reset без Assignfile не работает...

П.С. 2 По причине конца рабочего дня и потери доступа к компьютеру с программой отвечать на сообщения по сути до завтрашнего утра более не могу. :) Прошу не серчать.