Imports System.IO 'coloque isto no topo para que o código funcione corretamente
System.IO.Directory.Delete("Informe o a sua pasta", True) 'este é o código
Esse código acima deletara todas as sub-pastas e arquivos contidos dentro da pasta
Abraços!
Nossa mano, estava procurando muito esse código, obrigado mesmo me ajudou muito.