Efectivamente, si un fichero se encuentra en uso, no lo puedes borrar ni renombrar. Es una limitación de Windows. No tiene solución si el programa que lo está usando no se encuentra bajo tu control.
Pero puesto que la pregunta está en el foro de C#, cabe pensar que el archivo lo has abierto tú desde tu propio programa en C#. En ese caso, para que desde otro sitio se pueda borrar o renombrar, tienes que cerrarlo adecuadamente después de haberlo abierto.
Esto implica, en general, llamar al método Dispose de la clase que usaste para abrirlo. No se puede decir mucho más sin tener una muestra del código que usaste para abrir (y luego cerrar) el fichero.
