On Error GoTo ErrorHandler

   For Each s As String In array
         Dim row As DataRow = DataSet11.Testtable.NewRow
         row( 0 ) = s
         row( 1 ) = "test"
         DataSet11.Testtable.Rows.Add(row)
         On Error Resume Next
    Next

ErrorHandler: Resume Next

On Error GoTo ErrorHandler

   For Each s As String In array
         Dim row As DataRow = DataSet11.Testtable.NewRow
        
         '*********************************
         row( 0 ) = s ' в таблице это поле ключевое (причём не автономер, а 
'простая строка), значения всавляемые в неё беруться из (предположим 
'списка), который содержит как новые (уникальные) значения, так и старые 
'(уже существующие). При попытке добавления старых вылетает exception 
'о не уникальности значения. Вот собственно и всё...
         '*********************************
        
         row( 1 ) = "test"
         DataSet11.Testtable.Rows.Add(row)
         On Error Resume Next
    Next

ErrorHandler: Resume Next

 For Each s As String In array

        If   '*********************************
 ' как проверить что в DataSet11.Testtable в колонке с ключевыми 
 ' значениями (Column(0))  уже есть значение s (насчет перебора в цикле я 
 'тоже знаю - нехочу перебирать) и, если нет, то выполнить следующий код???    

             Dim row As DataRow = DataSet11.Testtable.NewRow
             row( 1 ) = "test"
             DataSet11.Testtable.Rows.Add(row)
        End If    '*********************************

Next

For Each s As String In array
        If   DataSet11.Testtable.Rows.Find(s) is Nothing then 
             Dim row As DataRow = DataSet11.Testtable.NewRow
             row( 1 ) = "test"
             DataSet11.Testtable.Rows.Add(row)
        End If
Next

Try
  For each lalalalala
     'Error
  Next
Catch ex as Exception
  'пнуть пользователя по ноге
  вернуться в тело цикла и продолжить его выполнение
End Try

  For each lalalalala
        Try
           
             'Error

        Catch ex as Exception
             обрабатываем исключение по своему усмотрению
             ' из тела цикла мы и не выходили :)))
        End Try
  Next

Private Sub Button11_Click(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles Button11.Click

        Dim x As Integer =  0 
        Dim y As Integer

        For i As Integer =  1  To  5 
            Try
                y = i / x ' деление на ноль вызовет Error
            Catch ex As ArithmeticException
                   Dim response As MsgBoxResult = MessageBox.Show("Вероятно Вы
                   пытаетесь разделить " & i & " на ноль." & vbCrLf & "Это
                   недопустимая операция".PadLeft( 38 ), "Ooops...",
                   MsgBoxStyle.AbortRetryIgnore)
                Select Case response
                    Case MsgBoxResult.Abort
                        Exit Sub
                    Case MsgBoxResult.Retry
                        i -=  1 
                    Case MsgBoxResult.Ignore
                        Exit Select
                End Select
            Catch ex As Exception ' здесь можно присвоить ex свой тип исключения
                MsgBox("Some other problems")
            End Try
        Next

End Sub