No es asi, lo que tienes que usar es el evento KeyPress del textbox y que solo permita numeros:
Private Sub TextBox1_KeyPress(ByVal sender As Object, ByVal e As System.Windows.Forms.KeyPressEventArgs) Handles TextBox1.KeyPress
'solo manejamos numeros no letras
If Char.IsDigit(e.KeyChar) Then
e.Handled = False
ElseIf Char.IsControl(e.KeyChar) Then
e.Handled = False
Else
e.Handled = True
End If
End Sub
Prueba y si te funciona marca como respuesta
Saludos