Olá,
A diferença é que a Controller dá suporte para trabalhar com as views, já a ControllerBase não.
Quando você utilizar ASP.NET MVC com WebApi por exemplo onde irá apenas retornar uma string ou JSON é mais indicado herdar da ControllerBase, já que não irá trabalhar com views.