Hola! Adicionalmente a lo que comenta Jose, la forma correcta para acceder desde Management Studio es en el nombre de servidor la siguiente estructura: SERVERNAME,PORT (Ej. 192.168.0.101,1433)
Adicionalmente al tipo de seguridad, que al estar fuera de dominio debería ser por medio de un login de SQL Server, deberías chequear cual es el puerto de la instancia (esto se puede ver desde el mismo servidor, en la aplicación Configuration Manager, en
la sección Network Configuration y Protocolo TCP/IP).
Saludos.
Mariano K.