検索していたらたまたま発見しましたので、参考までに私がとあるソフトで使用した方法を書かせていただきます。
大変長くなってしまい申し訳ありませんが、面倒でなければお目をお通しください。
私のソフトでは、そちらで検討されているとおり、DwmEnableBlurBehindWindowを使用してガラス効果を設定しています。
このとき、ガラス効果を設定するリージョンを渡しますが、
このリージョンを「クライアント領域外」を差すように作成してあげると、
クライアント領域にはガラス効果が行われず、完全透明になります。
空のリージョンを渡すとエラーとなり透明になりませんので、
(-1, -1) - (0, 0) など、1x1 pixel のクライアント領域外を指定してください。
その後、DwmExtendFrameIntoClientArea を使用して実際にクライアント領域へガラス効果を拡張し、
ここで初めてクライアント領域が完全透明にできるようになります。
ここまでは実際にやられている方も多いようですが、みなさん透明部分にマウスが反応してしまうことを
回避することがなかなかできないようです。
私の最初の発想としては、マウス関連のグローバルフックを行い、
マウスメッセージをリダイレクトすることでした。
――が、これもなかなか難しく、いろいろと制限が出てきてしまいます。
その後、研究を続けた結果、充分に実用的な手法を作成できましたので、紹介させていただきます。
使用するのは、SetWindowsHookEx の WH_MOUSE_LL です。
グローバルフックですが、このフックは特殊で、DLL 内になくてもグローバルフックが可能、かつ、他のプロセスに DLL を注入しません。
このフックを行う際には、優先度の高い専用のワーカースレッドを作成し、SetWindowsHookEx をその中で行ってください。
これは、WH_MOUSE_LL のフックプロシージャが、SetWindowsHookEx を行ったスレッドへの何らかのメッセージ送信により呼び出されるためで、
普通にメインスレッドなどから作成すると、ブロック処理をした際など、フックの処理までブロックされてしまいます。
このフックは OS 側の設定により、一定時間でタイムアウトしてスキップされるので、まったく操作不能になることはありませんが、
マウスの反応が大変鈍くなるので、なるべく処理が止まることのないよう、専用のスレッドを作成した方が無難です。
フックプロシージャが呼ばれたら、まず自分の疑似レイヤードウィンドウの矩形範囲内にあるか判定し、
範囲外で有れば関係ないので次のフックチェインを呼び出します。
範囲内であれば、ウィンドウに表示している内容のα値を参照し、自前で HitTest を行います。
私の場合には、排他制御の影響で反応が鈍くなるのをなるべく避けるために、HitTest 専用の Direct2D バックバッファを作成し、そちらの内容を参照しています。
Direct2D バッファの内容を参照するにはいくつかの方法が考えられますが、実験の結果良いと思われた手段で、現在私のソフトでは、
ID2D1GdiInteropRenderTarget を取得し、GetDC を行った後、1x1pixel の DIBSection に 該当座標を BitBlt で転送し、内容を参照しています。
HitTest の結果が False のとき、裏にあるウィンドウにメッセージが行くようにしなければなりませんが、
SendMessage や PostMessage を使用してリダイレクトするのはなかなか難しく、研究の結果、
WS_EX_TRANSPARENT を指定したウィンドウがマウスに反応しなくなることを使用することにしました。
トップレベルウィンドウでは、このスタイルは単独ではなにも効果を及ぼしませんので、
WS_EX_LAYERED を指定してウィンドウを作成しておきます。
それだけでは動作しませんので、作成後一度 SetLayeredWindowAttributes を行っておきます。
この設定で作成すると本来の (GDI 経由での) 描画の結果が表示されるのではないかと心配されるかと思いますが、
Direct2D の HwndRenderTarget や、Direct3D を使用した場合、そちらの方が優先的に表示されるので、問題ないようです。
ただし、OS 側が行う HitTest は、ここでの設定の影響を受けますので、
第２引数のカラーキーに、ARGB(0, 0, 0, 0) 以外のα値が 0 のカラーキーを指定しておきます。
第４引数は、LWA_COLORKEY を指定してください。それから、ウィンドウクラスの背景ブラシには、BLACK_BRUSH を指定しておきます。
こうしておくことで、何らかのタイミングで GDI 経由の描画結果が表示されようとしたとしても、
α値が 0 の色で塗りつぶされているので、何も表示されません。
SetLayeredWindowAttributes のカラーキーを 0 にしていると、カラーキーとマッチしてまるっきりマウスに反応しなくなりますので注意してください。
この下準備をした後、自前の HitTest で結果が False のときには、SetWindowLongPtr で、WS_EX_TRANSPARENT を追加してから
次のフックチェインを呼ぶと、マウスに反応しない状態で続く処理が行われますので、
裏にあるウィンドウにメッセージが送信されるようになります。
自前の HitTest が True のときには、SetWindowLongPtr で、WS_EX_TRANSPARENT を削除してから次のフックチェインを呼ぶことで、
自分のウィンドウにメッセージが来るようにすることができます。
この実装で、私のソフトウェアでは、Direct2D の HwndRenderTarget を使用して描画周りをすべてハードウェア処理させたまま、
レイヤードウィンドウとほぼ同等の振る舞いをさせることに成功しました。
難点としては、専用スレッドを生成しているものの、状況によってはコンテキスト切り替えが滞り、マウスの反応が鈍くなってしまうこと、
あとはデバッガでのトレース作業が困難なくらいでしょうか。
デバッガでスレッドが停止しますので、ブレーク中にはマウスの動きが飛び飛びになってしまいます。
以上、Direct2D で話を進めてきましたが、Direct3D でもまったく同様の手法で実現できるようです。
(Direct2D は Direct3D を簡単に使用するためのユーザモードラッパーライブラリなので、当然ですが)
この情報でうまく実現することができましたら幸いです。
