Thiago, o Silverlight realmente não pode acessar uma Class Library existente, pelo fato de ele possuir somente uma versão mais enxuta do .Net Framework embutido. Para você utilizar esta Class Library do jeito que está, você
vai ter que criar um serviço WCF para expor os métodos necessários. Seria, digamos, uma camada extra na sua aplicação, mas isto faria com que sua Class Library ficasse intacta para outras aplicações.
Não é nada complicado criar um serviço WCF e chamá-lo do Silverlight, embora eu recomende que você estude mais um pouco o Windows Communication Foundation, por conta de algumas configurações que ele possui.
Segue um link já postado inclusive aqui no MSDN que pode te ajudar: http://www.codeproject.com/KB/silverlight/4StepsSilverLight.aspx
Abraços, espero que tenha ajudado!
Analista de Sistemas - [MCTS] WinForms 2.0/WPF 3.5/ASP.Net 3.5