amigo ,
não sei se voce consegue validar o arquivo na hora que o seleciona , impedindo-o de selecionar ,
mas voce pode pegar o nome e extensao do arquivo atravez do propriedade ,
nomeDoSeuFileUpload.FileName ;
depois que voce pegar o nome e extensao e verificar se é do tipo txt voce determina o que o programa deve fazer ,
existe uma função chamada , onUploadComplete="SuaFuncao"
que voce pode validar o tipo de arquivo disparando uma funçao e validando isso..