Решил разбить чтение больших файлов на небольшие кусочки (чтобы считанные данные не превышали ОЗУ). Например, первый поток читает первые 100 МБ файла, второй поток читает от 100 до 200 МБ, третий от 200 до 300 МБ...

Так вот если файлы делить на куски по 100 ГБ (т.е. не делить, потому что все файлы меньше этого размера), то обработка завершается успешно. Но как только я делю их по 100 МБ, то через какое- то время программа вываливается с ошибкой. Кстати, этот же алгоритм чтения файлов долго использовался раньше без деления на кусочки и отлично работал, т.е. ошибка как мне кажется именно в многопоточном чтении одного файла.

Как решить?

Dima TЯ правильно понимаю что раньше алгоритм работал однопоточно, а теперь многопоточно? Я бы тут искал проблему, а не в работе с файлом.

И ошибку не помешает озвучить вместе со строкой кода, на которой она происходит.

Да, однопоточный алгоритм я натравил на куски файлов. Ошибка происходит в стандартной библиотеки и совершенно в другом месте (скорее всего из- за уже произошедшей ошибки, которая себя никак не проявила). Работа с файлов абсолютно таже, что и была, только теперь он читается несколькими потоками одновременно.

алгоритм чтения файла представляет из себя стандартную связку: std::iostream + getline()

Dimitry SibiryakovДай угадаю: у тебя один iostream на все потоки?..


Каждый поток создает свой отдельный независимый поток iostream и с помощью него читает свой диапазон строк файла.

AlekseySQLДа, однопоточный алгоритм я натравил на куски файлов. Ошибка происходит в стандартной библиотеки и совершенно в другом месте (скорее всего из- за уже произошедшей ошибки, которая себя никак не проявила). Работа с файлов абсолютно таже, что и была, только теперь он читается несколькими потоками одновременно.

+ Алгоритм долго работал в многопоточном режиме с РАЗНЫМИ файлами. Но как только я запустил этот алгоритм с кусками одного и того же файла, то появилась ошибка.

Всем спасибо, я нашел ошибку!

Дело в том, что у меня открытые файлы хранятся в специальной коллекции, которую я анализирую на используемость и закрываю более не нужные файлы. Так вот этот механизм надо было переделать при использовании кусков файлов, а я этого не сделал.