Consegui achar o problema!
Para quem recebe esta mensagem quanto tenta receber dados pela MSComm, verifiquem se o drive do cabo esta instalado corretamente.
O cabo que eu estava utilizando é o PL-2303. Eu até conseguia instalar ele no Windows 8.1 mas não corresponde corretamente, pois o próprio fabricando fala que no windows 8 o cabo não irá funcionar, mas existe outros tipos de cabos com o mesmo modelo que
funciona, porem o chipset dele possui outro tipo de drive, ou seja, é um outro cabo que tem o drive correto para que funcione no windows 8.1 e nos anteriores.
para descobrir qual o modelo do chipset do seu cabo, baixe este programa
www.prolific.com.tw/UserFiles/files/c_Prolific_DriverInstaller_v1_9_0.zip
caso link não funcione procure por Prolific_DriverInstaller_v1_9_0
neste link tem o drive do cabo que irá instalar com nome: PL2303_Prolific_DriverInstaller_v1.9.0.exe
depois de instalado reinicie o micro, assim que iniciar execute o checkChipVersion_v1006.exe
verifique qual porta seu cabo esta instalado e clique em chek ele mostrará o modelo corretamente.
no meu caso apareceu PL-2303 XA / HXA. (não é suportado para windows 8)
Obs: o cabo tem que estar conectado na porta usb.
Modelos que funcionam no windows 8.1:
PL-2303HX (Rev D) ou HDX
PL-2303TA
PL-2303TB
PL-2303EA
PL-2303RA
PL-2303SA
terei de comprar um modelo desses.
Espero que isso ajude alguém.
Abraços