デザイン時かどうかを判定するために、ドメイン名を使って以下のように判定できると他の掲示板で書いてあったのですが、ClickOnceのショートカットから実行するとデザイン時と同じくDefaultDomainとなり、判定できませんでした。
If AppDomain.CurrentDomain.FriendlyName = "DefaultDomain" Then
もともとこの方法はコンポーネントのコンストラクタではDesignModeが設定されていないことからその代替法として出てきたようですが、判定には使えませんでした。
目の前の問題はデザイン時を判定する必要がないようにロジックを変更して回避しました。