情報提供をありがとうございます。おかげさまで疑問が解けました。
> そこから「Configure」を開き「プリコンパイル済みサイトを更新可能にする」にもチェック
> を入れていました。
「プリコンパイル済みサイトを更新可能にする」は以下の記事にある [Allow precompiled site to be updatable] ですね。
Advanced Precompile Settings Dialog Box
https://msdn.microsoft.com/en-us/library/hh475319(v=vs.110).aspx
> これがあると実行時にサーバー側でViewのコンパイルをしてしまうのだと思いますが、知らず
> に設定してしまっていたようです。
自分は VS2015 を持っていないので想像ですが、デフォルトでチェックが入っているのではないかと思います。（VS2010 の [Web サイトの発行] ダイアログ ボックスではデフォルトでチェックが入っています）
Web アプリケーションプロジェクトでも、サーバーにデプロイ後 .aspx, .ascx のみ（MVC の場合は View のみ）差し替えたいが、その際全体を再コンパイルしたくないということがあると思います。
「プリコンパイル済みサイトを更新可能にする」にチェックを入れるということは、.aspx, .ascx ページ（MVC の場合は View）をアセンブリにコンパイルされないように指定し、サーバーでのファイルの差し替えを可能にするということだそうです。
ということは、.aspx, .ascx ページ（MVC の場合は View）はサーバー側でコンパイルを行うということになります。（初回要求のときのみ。コンパイルされたアセンブリは Temporary ASP.NET Files に保存されて次回の要求では再利用されるはずです）
通常それで問題ないはずですが、今回のケースでは運用サーバーには web.config に <system.codedom> 要素で指定されたコンパイラ（bin\roslyn\csc.exe）の実行権限がなく、コンパイルに失敗したということのようです。
> チェックを入れない状態で「公開」すると、サーバーでも実行できました。
その場合はサーバー側でコンパイルは行わないので問題がなくなったということでしょう。
ただし、そうするとサーバーにデプロイした後、.aspx, .ascx のみ（MVC の場合は View のみ）差し替えるということができなくなってしまうと思いますが。（View をちょっとだけ変更しても、開発環境で再コンパイルして再発行することになると思います）
＃質問者さんの運用サーバーで bin フォルダに置かれたコンパイラの実行権限がないのは、質問者さんの環境での特殊事情と理解します。
