No hay un automatismo que consiga lo que quieres; tienes que programarlo. Para ello, al cerrar la aplicación (típicamente en el evento Closing del formulario) tienes que escribir código que vaya leyendo uno por uno cada uno de los textboxes y escribiendo
su contenido en un archivo. Y después, en el arranque del programa (por ejemplo, dentro del evento Load del formulario), tienes que abrir el fichero, leer el contenido, y pintarlo en los textboxes.
Lo de "leer y grabar" el fichero puede hacerse de varias maneras dependiendo de cómo quieras que sea el fichero. Se puede usar un INI si así lo deseas, usando las funciones del sistema que leen y graban los INI (tendrás que declararlas con un Declare Function),
pero también puedes usar un simple fichero de texto y grabar dentro el valor de los textboxes, por ejemplo, cada uno en una línea separada.
Si no encuentras las declaraciones de funciones para leer y grabar INI, puedes copiarlas por ejemplo de este post:
http://www.vbforums.com/showthread.php?277554-VB-INI-Handling