Lo que tienes que hacer es filtrar tambien si el caracter ingresado es coma(,) o punto(.), aqui un ejemplo.
Private Sub txtAlgunTextbox_KeyPress(ByVal sender As Object, ByVal e As System.Windows.Forms.KeyPressEventArgs) Handles txtAlgunTextbox.KeyPress
Dim Car% = Asc(e.KeyChar)
Select Case Car
'
'8 ES BACKSPACE
'46 ES .
'48 ES ,
Case 8, 46, 44
'AQUI LEE BACKSPACE | . | ,
Case 48 To 57
' AQUI LEE LOS NUMEROS
Case Else
'AQUI LOS QUE NO CUMPLEN CON LA CONDICION
e.KeyChar = Nothing
End Select
End Sub
con esta rutina se esta diciendo al texbox que no acepte nada que no sean |Numeros| Puntos |Coma
No olvides valorar si te ayudo la respuesta.
JymmyT