ふつうの ウィンドウ も モードレス・ダイアログ もメッセージを処理するための
コールバック関数を定義しますよね。
(以下，それぞれ WindowProc, DialogProc と呼ぶことにする )
(注: ATL(WTL)やMFCを使っている場合は，
メッセージ・クラッカーと呼ばれている
BEGIN_MSG_MAP ～ END_MSG_MAP マクロのところ)
で，それら自作の関数内で，
メッセージを処理しなかったときのために，
デフォルトのウィンドウ・プロシージャがあらかじめ用意されいます。
WindowProc の方には，メッセージが直接やってきて，
処理しないものを デフォルトのものを呼び出して(DefWindowProc(,,,) )処理する形だけれど，
DialogProc の方には，
先にデフォルトのものが，親切にも，
いくつかのメッセージ(TABキーなど)を処理してくれて，
処理されなかった残りのメッセージがやってきます。で，
DialogProcで処理しなかった場合(FALSEとして戻り値で返す)，
デフォルトのものに戻ったときに再度処理してくれる形になっています。
この仕組みの関係で，
Dialogの方へメッセージを送るには，
IsDialogMessage(,) を呼び出すことになっています。
簡単に書くと，
「DialogProcへのメッセージは，間引かれてやって来る」
って感じです。
ATL(WTL) や MFC のようなフレームワークとして提供しているものは，
PreTraslateMessage( ) という仮想関数を用意して，
それをオーバーライドすることで，
IsDialogMessage(,) を呼び出す前に，
間引きされてしまう前に，メッセージを処理することも可能なようになっています。
# 正確ではないかもしれません
メッセージ(MSG)が伝播していく簡単な流れを書くと，
[モードレス・ダイアログ の MSG の移動]
GetMessage
↓
(PreTranslateMessage)
↓
IsDialogMessage
↓
デフォルトのダイアログプロシージャ (of デフォルトのダイアログクラス)
↓
ユーザー定義のDialogProc関数
↓
デフォルトのダイアログプロシージャ (of デフォルトのダイアログクラス)
↓
(TranslateMessage)
↓
(DispatchMessage)
↓
繰り返し
[いわゆるふつうの ウィンドウ の MSG の移動]
GetMessage
↓
(PreTranslateMessage)
↓
TranslateMessage
↓
DispatchMessage
↓
ユーザー定義のWindowProc関数
↓
(デフォルトのウィンドウ・プロシージャ)
↓
(ユーザー定義のWindowProc関数)
↓
繰り返し
また，
ATL(WTL)やMFCで，
外枠をふつうの ウィンドウ で作成して(フレーム・ウィンドウといいます)
そのウィンドウのクライアント領域いっぱいに，
ダイアログ・ウィンドウ を広げて表示する形になっているのを
フォーム・ビュー といっています。
なので，そういうのと遭遇した時には，
内側がダイアログなんだと思えばいいです。
外側の(ふつうの)ウィンドウの PreTranslateMessage のオーバーライドの中で，
内側のダイアログ・ウィンドウの PreTranslateMessage を呼んで，
その中で，IsDialogMessage を呼んでいます。
その結果，内側の DialogProcコールバック関数に
メッセージが渡ります。
流れさえわかれば，
汎用的に書いてある他の人のコードを
どこをどのように変えればいいか，だいたいわかる筈です。
