vb_subВ общем есть метод, который получает в имя текстового файла, потом его построчно читает и на каждую строчку выполняет команду.
Тут нужен классический producer-consumer (производитель-потребитель): один поток читает данные и передаёт дальше; второй поток обрабатывает данные; третий поток пишет их в базу. В современном .NET это сверхудобно делается конвейером (
Pipelines ).
Итого, это может выглядеть как-то так:
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
var inputLines = new BlockingCollection<string>();
var processedLines = new BlockingCollection<Data>();
// Stage #1
var readLines = Task.Factory.StartNew(() =>
{
try
{
foreach (var line in File.ReadLines(filename))
inputLines.Add(line);
}
finally { inputLines.CompleteAdding(); }
});
// Stage #2
var processLines = Task.Factory.StartNew(() =>
{
try
{
foreach (var line in inputLines.GetConsumingEnumerable())
{
var data = Parse(line);
processedLines.Add(data);
}
}
finally { processedLines.CompleteAdding(); }
});
// Stage #3
var writeLines = Task.Factory.StartNew(() =>
{
try
{
foreach (var data in processedLines.GetConsumingEnumerable())
{
// запись data в базу
}
}
finally { // Close connection }
});
Task.WaitAll(readLines, processLines, writeLines);
Потом нужно разобраться, какая именно из этих трёх стадий наиболее затратна, её и параллелить. Чтение с диска параллелить смысла нет: физический носитель один, всё ограничено его скоростью работы.
Запись в базу, аналогично, скорей всего, параллелить смысла нет. Разве что перейти на
BULK INSERT .
А вот среднюю стадию можно попробовать ускорить. Применить либо Parallel.ForEach, либо AsParallel().
vb_subЯ подозреваю, что время на создание и обработку Taskов перекрывает весь выйгрыш от многопоточности
Именно!
Если тело задачи выполняется очень быстро, то затраты на её создание превысят выгоды. В таком случае нужно в каждой задаче обрабатывать не один элемент, а диапазон. Тут нужно смотреть в сторону
Partitioner.Create - метод разбивает последовательность на диапазон значений, каждый из которых передаём на выполнение таскам.
