Boa tarde Renato,
realmente não é possível acessar o Entity Data Model diretamente em uma aplicação Silverlight. O Silverlight é executado no cliente, e por motivos de segurança não lhe deixa acessar uma base de dados diretamente, ou seja,
você precisa acessá-la através de um serviço.
Para fazer isso você pode construir um serviço WCF que acessa a base e consumí-lo no Silverlight, mas dependendo do contexto seria mais adequado utilizar uma alternativa mais rápida e fácil, o WCF RIA Services.
O RIA Services (de Rich Internet Application) gera um serviço automaticamente, expondo um Data Model criado pelo Entity, e também referencia este serviço na sua aplicação Silverlight, tudo isso de uma forma muito transparente.
Segue o ponto de partida para estudar esta tecnologia:
http://www.silverlight.net/learn/advanced-techniques/wcf-ria-services/get-started-with-wcf-ria-services
Abraços,
Daniel Cheida de Oliveira