質問をするときは最低限のマナーとして、開発環境(たとえばコンパイラのバージョンやライブラリなど)や実行環境に関して詳しく書いてください。
技術系メーリングリストで質問するときのパターン・ランゲージ
説明が要領を得ておらず、提示されたコードも中途半端で何がしたいのかいまいち分かりませんが、(何らかの制約条件を付けない限り)行列からオイラー角を一意に求めるのは不可能です。
回転角および回転の順序(たとえばY, X, Z軸まわりにYaw, Pitch, Rollの順で回転)が決まれば当然回転行列は一意に定まりますが、たとえば簡単な例で言うと左手系で「Z+45度→Y+90度」と「Y+90度→X+45度」が同じ姿勢を表すことからも分かるように、逆は一意には定まりません。ビュー行列はカメラの姿勢行列に相当しますが、ビュー行列はあくまで最終的な姿勢(軸ベクトル)を規定するものであり、回転の順序は規定されません。回転順序のセットを1つ選んで定めてやれば、三角関数を用いてオイラー角を逆算することは可能ですが、特異点の境界条件には注意する必要があります。
c++ - Direct3D - How do I calculate Roll from View Matrix? - Stack Overflow
オイラー角と回転行列の相互変換における問題に関してはWebで検索すればいくらでも情報が手に入るし、線形代数のテキストやグラフィックスプログラミングの関連書籍には同次変換行列に関する説明が豊富に記載されています。
O'Reilly Japan - 実例で学ぶゲーム3D数学
3Dm_0000.indd - g3d_sample03.pdf