Leandro, essa pergunta é um pouco complicada de responder. eu lhe sugiro você refaze-la em um fórum voltado para IIS do TechNet
http://social.technet.microsoft.com/Forums/pt-BR/winiispt
Analisando por cima, acredito que você não terá problemas, contanto, que o GlassFish não ocupe nenhuma porta do IIS.
Olavo Oliveira Neto
http://olavooneto.wordpress.com
Twitter @Olavooneto
Se for útil marque como resposta e faça um Developer feliz :)
