Ola amigo,
vê se esse link te ajuda.
http://www.macoratti.net/d160703.htm
Ou se preferir tente assim:
Private Sub TextBox1_TextChanged(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles txtQuantidade.TextChanged
If txtQuantidade.Text <> "" And IsNumeric(txtQuantidade.Text) = False Then
MsgBox("Valor inválido", vbCritical + vbOKOnly, "Atenção")
txtQuantidade.Text = ""
txtQuantidade.Focus()
End If
End Sub
Edi Carlos