Solo si es una ventana "de mentira", es decir, no un window.open sino un div de html que ubicas por encima del resto del contenido. En este caso, no tendra boton de Cerrar salvo que tu se lo pongas expresamente.
Pero si es una ventana "real", siempre tiene forzosamente el boton de cerrar. Esto lo hacen aposta los navegadores por motivos de seguridad, para evitar que cuando estas navegando por la red pueda ocurrir que de repente un sitio web te abra una
ventana que no puedas cerrar.