Crie uma chave no registro conforme link:
https://www.akadia.com/services/windows_registry.html
Exclui ela quando o usuário clicar no botão e o aplicativo fechar.
Obrigado por responder André!
Bom a ideia é essa mesmo, mas eu sou muito iniciante em vb e não sei como aplicar, poderias tu enviar-me um código para isso, desejo fazer uma aplicação simples apenas para um projeto pessoal meu, e precisaria disso.
Obrigado e boa noite!