Есть у меня файлы с данными по месяцам. Я решил перегруппировать их по клиентам, т.е. создать файлы, которые хранят данные за весь период для каждого отдельного клиента.
Сначала я, обрабатывая каждый месяц исходных данных, открывал и закрывал файл клиента с добавлением нового в конец:
1.
File->open(FileName, std::ios::out | std::ios::binary | std::ios::app);
Но это работало очень долго и я решил один раз открывать файл клиента, после каждого месяца делать flush(), а закрывать только когда по клиенту в течении месяца не было сделок. Для этого я создал такой объект:
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
using closerWriteFile = std::function<void(std::ofstream*)>;
using uptr_ofstream = std::unique_ptr<std::ofstream, closerWriteFile>;
uptr_ofstream OpenBinFileForWrite(cstring& FileName)
{
closerWriteFile&& Closer = std::bind(CloseFileForWrite, _1, FileName, true);
uptr_ofstream File(new std::ofstream, std::move(Closer));
File->open(FileName, std::ios::out | std::ios::binary | std::ios::trunc); //ТЕПЕРЬ ПРИ ОТКРЫТИИ ОЧИЩАЕМ ФАЙЛ КЛИЕНТА
return std::move(File);
}
void CloseFileForWrite(std::ofstream* File)
{
File->close();
}
class OpenFiles
{
std::map<string, uptr_ofstream> Files;
std::map<string, uint32> Monthes;
mutable std::mutex MutexFiles;
public:
uptr_ofstream&& Get(cstring& FileName, cuint32 CurrentMonth)
{
std::lock_guard<std::mutex> Guard(MutexFiles);
//remember working with data
Monthes[FileName] = CurrentMonth;
//initial find file in map
std::map<string, uptr_ofstream>::iterator it;
it = Files.find(FileName);
if(it != Files.end()) return std::move(it->second);
//add to map
Files[FileName] = OpenBinFileForWrite(FileName);
return std::move(Files[FileName]);
}
void CloseOldFiles(cuint32 CurrentMonth)
{
if(CurrentMonth != Consistency.GetOldestMonth()) return;
std::lock_guard<std::mutex> Guard(MutexFiles);
std::map<string, uptr_ofstream>::const_iterator it;
for(const auto& Value: Monthes)
{
if(Value.second >= CurrentMonth) continue;
//find files
it = Files.find(Value.first);
if(it == Files.end()) continue;
//delete this file from map
Files.erase(it);
}
}
} CurrentFiles;
Теперь я могу написать такую функцию дозаписи в файлы:
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
void WriteDataForClient(const myLib::array<writeData>& ArrayOfClient,
const uint32 CurrentMonth,
const string& Client)
{
const string FileName = Settings.at("SubDirectoryWithOutputFiles") + Client + ".bin";
//find file
uptr_ofstream&& File = CurrentFiles.Get(FileName, CurrentMonth);
//write file
ArrayOfClient.WriteArrayToBinFile(std::move(File)); //ТУТ ДОБАВЛЯЮТСЯ ДАННЫЕ
//flush added data
File->flush();
}
Метод CloseOldFiles(cuint32 CurrentMonth) вызывается после обработки каждого месяца (таким образом закрываются файлы, что видно в отладчике).
Но почему- то ОЧЕНЬ сильно растет потребление памяти. Ведь по логике я делаю flush(), и все данные должны сбрасываться на диск. В чем косяк?
