参考になるかどうか分かりませんが。。。
Device Manager でのエラーがコード 38 とのことですが、これは以下のエラー メッセージに対応していると思います。
------------------------------------------------------------------
CM_PROB_DRIVER_FAILED_PRIOR_UNLOAD
http://msdn.microsoft.com/en-us/library/ff538922(v=vs.85).aspx
------------------------------------------------------------------
ですので、Hiro2000 さんが推測されているように、デバイスの削除処理に問題があるのだと思います。
実は私も以前、USB デバイスの再接続時に Code 38 (CM_PROB_DRIVER_FAILED_PRIOR_UNLOAD) が発生する問題に遭遇したことがあります。
（スマートカード クラスではありませんでしたが。）
その時の問題は、IRP_MN_SURPRISE_REMOVAL にありました。
他社製品のドライバも絡む原因だったので、あまり詳しくは書けないのですが、IRP_MN_SURPRISE_REMOVAL での処理に問題がある場合も、Code 38 のエラーが発生するようです。
USB 接続などの Hot-plug Deivce に対する物理的な取り外しを行った場合、通常 IRP_MN_REMOVE_DEVICE の直前に IRP_MN_SURPRISE_REMOVAL が来るはずだと思います。
（ただし IRP_MN_SURPRISE_REMOVAL は必ず来る訳ではないはずなので、ご注意ください。）
IRP_MN_SURPRISE_REMOVAL は IRP_MN_REMOVE_DEVICE と似たような通知ですが、Minor Code が異なるので、当然イコールではありません。
私が遭遇した時の問題では、私のドライバの下位にアタッチしていた他社ドライバが、IRP_MN_SURPRISE_REMOVAL で IoDetachDevice() および IoDeleteDevice() をコールしてしまっていることが原因でした。
下位ドライバが IRP_MN_SURPRISE_REMOVAL で IoDetachDevice() / IoDeleteDevice() コールを行ってしまうと、それ以降に発行される IRP_MN_REMOVE_DEVICE がデバイス スタック最上位のドライバに正しく通知されてこなくなるため、正常にデバイス スタックの解除およびデバイス オブジェクトの削除が行われず、その結果再接続時に Code 38 のエラーを引き起こす。。。という流れだったと記憶しています。（昔のことなので、ちょっとあやふやかも。）
IRP_MN_SURPRISE_REMOVAL におけるこの制限に関しては、以下のサイトに情報が公開されています。
------------------------------------------------------------------
Handling an IRP_MN_SURPRISE_REMOVAL Request
http://msdn.microsoft.com/en-us/library/ff546699(v=VS.85).aspx
....
9. Leave the device object attached to the device stack.
Do not detach and delete the device object until the subsequent IRP_MN_REMOVE_DEVICE request.
....
------------------------------------------------------------------
ですので、まずは IRP_MN_SURPRISE_REMOVAL での実装を確認されてみてはいかがでしょうか？
