Como o colega falou, sua pergunta é muito ampla.
O VBA(Visual Basic for Applications) é utilizado bastante no Excel, então vou dar um exemplo por lá.
Primeiro habilite a opção desenvolvedor (Arquivo -> Opções -> Personalizar faixa de Opções -> marque o checkbox "Desenvolvedor").
Após precisa decidir como você irá montar sua calculadora. Se quiser pode fazer tanto um botão na planilha que chame um form e através dele faça a calculadora, ou pode utilizar os campos da planilha para receber os valores, criar um botão para o usuário
clicar e digitar qual tipo de operação quer efetuar e então efetuar a operação.
O código é simples de fazer, recomendo este link:
http://www.aprenderexcel.com.br/2013/tutoriais/como-usar-uma-vba-no-excel
Boa sorte!!
