using System.Collections.Generic;
using System.Data;
using System.Threading.Tasks;

namespace ConsoleApplication1
{
    class Program
    {
        static void Main(string[] args)
        {
            DataSet ds = new DataSet();
            DataTable dt = new DataTable("first");
            ds.Tables.Add(dt);

            //Вот так можно просто запустить много потоков без ожидания их выполнения
            foreach (DataRow dr in ds.Tables["first"].Rows)
            {
                Task.Factory.StartNew(() =>
                {
                    doit(dr);
                });
            }
            //Вот так можно запустить много потоков и ждать, пока они все выполнятся
            List<Task> tasks = new List<Task>();
            foreach (DataRow dr in dt.Rows)
            {
                tasks.Add(
            Task.Factory.StartNew(() =>
            {
                doit(dr);
            }));
            }
            Task.WaitAll(tasks.ToArray());
        }
        static void doit(DataRow dr)
        {

        }
    }
    
}

Imports System.Collections.Generic
Imports System.Data
Imports System.Threading.Tasks
Namespace ConsoleApplication1
	Class Program
		Shared Sub Main(args As String())
			Dim ds As New DataSet()
			Dim dt As New DataTable("first")
			ds.Tables.Add(dt)
			For Each dr As DataRow In ds.Tables("first").Rows
				Task.Factory.StartNew(Function() 
				doit(dr)

End Function)
			Next
			Dim tasks As New List(Of Task)()
			For Each dr As DataRow In dt.Rows
				tasks.Add(Task.Factory.StartNew(Function() 
				doit(dr)

End Function))
			Next
			Task.WaitAll(tasks.ToArray())
		End Sub
		Shared Sub doit(dr As DataRow)
		End Sub
	End Class
End Namespace