É possível sim, Andrey. Na prática, a utilização do SQL Azure com Entity Framework seria praticamente idêntica ao uso com SQL Server.
Tempos atrás até escrevi um artigo sobre isto, publicado na revista .NET Magazine. Caso vc queira se informar mais a respeito, deixo aqui o link:
http://www.devmedia.com.br/acessando-o-windows-azure-sql-database/29126
