disclaimer:
* код написан на коленке и не претендует на звание best code ever
* 100% содержит ряд багов (и я даже знаю где), но, в целом, показывает подход и пригоден для исследования производительности, и последующего устранения узких мест, т.е. служит некой отправной точкой для желающих заморочится
* не поддерживает точки монтирования/hardlinks в каталогах
* не будет работать правильно (без доработки напильником), если натравить на C:\windows или корневой каталог тома. В Windows есть каталоги, на которые у вас нет прав :)
* обработка ошибок удалена для краткости
h
1.
2.
3.
4.
5.
6.
7.
8.
9.
#pragma once
#define WIN32_LEAN_AND_MEAN
#include "wtypes.h"
#include "assert.h"
#include <optional>
#include <string>
#include <memory>
cpp (портянка)
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
71.
72.
73.
74.
75.
76.
77.
78.
79.
80.
81.
82.
83.
84.
85.
86.
87.
88.
89.
90.
91.
92.
93.
94.
95.
96.
97.
98.
99.
100.
101.
102.
103.
104.
105.
106.
107.
108.
109.
110.
111.
112.
113.
114.
115.
116.
117.
118.
119.
120.
121.
122.
123.
124.
125.
126.
127.
128.
129.
130.
131.
132.
133.
134.
135.
136.
137.
138.
139.
140.
141.
142.
143.
144.
145.
146.
147.
148.
149.
150.
151.
152.
153.
154.
155.
156.
157.
158.
159.
160.
161.
162.
163.
164.
165.
166.
167.
168.
169.
170.
171.
172.
#include "test.h"
///////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////
static constexpr std::wstring_view DOUBLE_SLASH = L"\\\\";
static constexpr std::wstring_view LOCAL_PATH_PREFIX = L"\\\\?\\";
static constexpr std::wstring_view UNC_PATH_PREFIX = L"\\\\?\\unc";
static constexpr std::wstring_view UNC_SLASHED = L"unc\\";
///////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////
namespace detail {
struct ff_handle_deleter
{
using pointer = HANDLE;
void operator()(pointer h) { ::FindClose(h); }
};
using ff_handle = std::unique_ptr<HANDLE, ff_handle_deleter>;
} // namespace detail
namespace utils {
bool is_directory_exist(const std::wstring& strPathToCheck) noexcept
{
assert(strPathToCheck.empty() == false);
if (strPathToCheck.empty() == false)
{
auto dwAttr = ::GetFileAttributesW(strPathToCheck.c_str());
if (dwAttr != INVALID_FILE_ATTRIBUTES)
return (dwAttr & FILE_ATTRIBUTE_DIRECTORY);
}
else
::SetLastError(ERROR_BAD_PATHNAME);
return false;
}
bool is_path_prefixed(const std::wstring& strPathToCheck) noexcept
{
assert(strPathToCheck.empty() == false);
constexpr auto szCompLen = LOCAL_PATH_PREFIX.size();
return strPathToCheck.size() >= szCompLen &&
strPathToCheck.compare(0, szCompLen, LOCAL_PATH_PREFIX, 0, szCompLen) == 0;
}
bool is_path_unc(const std::wstring& strPathToCheck) noexcept
{
if (is_path_prefixed(strPathToCheck))
return ::_wcsnicmp(strPathToCheck.c_str() + 4, UNC_SLASHED.data(), UNC_SLASHED.size()) == 0;
return strPathToCheck.size() >= DOUBLE_SLASH.size() &&
::wcsncmp(strPathToCheck.c_str(), DOUBLE_SLASH.data(), DOUBLE_SLASH.size()) == 0;
}
std::wstring path_add_prefix(const std::wstring& strPathToExpand)
{
assert(strPathToExpand.empty() == false);
if (strPathToExpand.empty() == false)
{
if (is_path_prefixed(strPathToExpand) == false)
{
if (is_path_unc(strPathToExpand))
return std::move(std::wstring(UNC_PATH_PREFIX).append(strPathToExpand.c_str() + 1));
return std::move(std::wstring(LOCAL_PATH_PREFIX).append(strPathToExpand));
}
return strPathToExpand;
}
::SetLastError(ERROR_BAD_PATHNAME);
return {};
}
std::wstring findfile_path_builder(const std::wstring& strDirPath, const std::wstring& strSubDir, const std::wstring& strExtension)
{
assert(strDirPath.empty() == false);
if (strDirPath.empty())
{
::SetLastError(ERROR_BAD_PATHNAME);
return {};
}
size_t offset = 0;
std::wstring_view svPrefix = L"";
if (is_path_prefixed(strDirPath) == false)
{
if (is_path_unc(strDirPath))
{
svPrefix = UNC_PATH_PREFIX;
offset++;
}
else
svPrefix = LOCAL_PATH_PREFIX;
}
std::wstring strMask = strSubDir.empty() ? L"*" : L"\\*";
if (strExtension.empty() == false)
strMask.append(strSubDir.empty() ? L"*." : L"\\*.").append(strExtension);
if (strDirPath.back() == L'\\')
return std::move(std::wstring(svPrefix).append(strDirPath.c_str() + offset).append(strSubDir).append(strMask));
return std::move(std::wstring(svPrefix).append(strDirPath.c_str() + offset).append(L"\\").append(strSubDir).append(strMask));
}
} // namespace utils
std::optional<size_t> calc_directory_size(const std::wstring& strRootDir, const std::wstring& strSubDir)
{
if (utils::is_directory_exist(strRootDir) == false)
return {};
size_t result = 0;
auto strFindPath = utils::findfile_path_builder(strRootDir, strSubDir, std::wstring{});
WIN32_FIND_DATAW wfd = {0};
detail::ff_handle hFind(::FindFirstFileExW(strFindPath.c_str(),
FindExInfoBasic,
&wfd,
FindExSearchNameMatch,
nullptr,
FIND_FIRST_EX_CASE_SENSITIVE|FIND_FIRST_EX_LARGE_FETCH));
if (hFind && ::FindNextFileW(hFind.get(), &wfd)) // каталоги [.] + [..]
{
strFindPath.resize(strFindPath.rfind(L'\\'));
while (::FindNextFileW(hFind.get(), &wfd))
{
if (wfd.dwFileAttributes & FILE_ATTRIBUTE_DIRECTORY)
{
if (wfd.dwFileAttributes & FILE_ATTRIBUTE_REPARSE_POINT)
continue;
auto calcedSize = calc_directory_size(strFindPath, wfd.cFileName);
if (calcedSize.has_value() == false)
{
// auto err = ::GetLastError();
return {};
}
result += calcedSize.value();
}
else
{
ULARGE_INTEGER nFileSize = { wfd.nFileSizeLow, wfd.nFileSizeHigh };
result += nFileSize.QuadPart;
}
}
}
if (::GetLastError() == ERROR_NO_MORE_FILES)
return result;
// auto err = ::GetLastError();
return {};
}
///////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////
int APIENTRY wWinMain([[maybe_unused]] HINSTANCE h, [[maybe_unused]] HINSTANCE, [[maybe_unused]] LPWSTR lpCmdLine, [[maybe_unused]] int nShowCmd)
{
auto s = calc_directory_size(L"d:\\your_big_folder", L"");
if (s.has_value() == false)
return ::GetLastError();
return s.value();
}
Диагностику снял с локального каталога на SSD, в первую очередь чтобы показать, что основная масса рассчетов/задержек приходится на kernel функцию FindFirstFile, а не на промахи кэша (но они безусловно есть, но их устранение - это экономия на спичках, имхо)
Чуть позже натравлю на каталог покрупнее по сети
