none
Ler arquivo txt (3 layouts de dados) de um azure blob conteiner RRS feed

  • Pergunta

  • Olá pessoal,

    estou com uma dúvida. Estou lendo um arquivo texto de um azure blog conteiner. 
    Esse arquivo é delimitado por # e tem a seguinte estrutura:

    H > cabeçalho com a data de geração do arquivo
    D > dados do sistema
    T > total de registros do arquivo

    H#column1#column2#column3
    D#column1#column2#column3#column4#column5#column6#column7
    T#column1

    Preciso ler somente a segunda linha do arquivo, que contém os dados do sistema. Porém o azure blog source não há opção para saltar o primeiro registro. Ao realizar o mapeamento, o componente so retorna três colunas que são referentes aos dados do cabeçalho.

    O processo é ler o arquivo do blob conteiner > Transformar  > inserir os dados em uma dimensão de um staging.

    Há alguma maneira ou step que me possibilite realizar a leitura dos dados do arquivo ignorando a primeira linha.


    • Editado Luiz_Santana sexta-feira, 8 de março de 2019 01:41
    quinta-feira, 7 de março de 2019 18:08

Respostas

Todas as Respostas

  • Luiz,

    Você esta utilizando qual ferramenta para realizer esta importação?

    O componente que busca os dados no Azure, não apresenta a opção de configurar a primeira linha como cabeçalho?

    Não seria o caso de utilizar ao do tipo Flat File Source!


    Pedro Antonio Galvão Junior [MVP | MCC | MSTC | MIE | Microsoft Evangelist | Microsoft Partner | Engenheiro de Softwares | Especialista em Banco de Dados Relacional e Data Warehouse | Professor Universitário | @JuniorGalvaoMVP | http://pedrogalvaojunior.wordpress.com]

    quinta-feira, 7 de março de 2019 22:36
    Moderador
  • Olá Pedro,

    Estou usando os arquivos estão em uma nuvem do azure e a ferramenta para o ETL é o Integration Services. 

    O grande problema é que a primeira linha deve ser ignorada pois ela somente contém dados da geração do arquivo, o que preciso de fato são os dados do tipo D#. Esses dados são os que irão de fato para o DW.

    No step de azure blob source não existe uma opção para pular a primeira linha como o flat file tem.


    • Editado Luiz_Santana sexta-feira, 8 de março de 2019 01:44
    sexta-feira, 8 de março de 2019 01:40
  • Luiz,

    Veja na imagem que você enviou, a opção Column Names in the first Row, é justamente esta opção a qual me refiro.


    Pedro Antonio Galvão Junior [MVP | MCC | MSTC | MIE | Microsoft Evangelist | Microsoft Partner | Engenheiro de Softwares | Especialista em Banco de Dados Relacional e Data Warehouse | Professor Universitário | @JuniorGalvaoMVP | http://pedrogalvaojunior.wordpress.com]

    sexta-feira, 8 de março de 2019 11:59
    Moderador
  • Deleted
    sexta-feira, 8 de março de 2019 12:44