none
ETL - Performance RRS feed

  • Pergunta

  • Pessoal,

    Atualmente preciso importar vários arquivos csv e cada um deles tem 80 colunas. Estou utilizando o SSIS para importar este arquivo, mas o que se torna trabalhoso é os nomes dos output do csv e output dos data transformation (estou usando string_dt e unicode_dt). há possibilidade de ser configurado para automaticamente ele já pegar o nome das colunas na tabela destino? Quanto a performance, existe algo que pode ser melhorado no ETL (SSIS) ?

    quinta-feira, 13 de março de 2014 00:36

Respostas

  • SaraivaIT,

    Eu não recomendo alterar o processo para obter o nome das colunas porque isto pode gerar falhas no processo no futuro.

    Se alguém incluir uma coluna ou modificar a estrutura de colunas de um arquivo pode parar todo seu processo de importação de dados.

    O "*" não é uma boa prática principalmente para grandes volumes como o seu. Eu sei que é trabalhoso, mas alguém tem de fazer.

    Agora sobre melhorar a performance no ETL, isto depende de como os dados chegam no arquivo para você e como é realizado o tratamento de dados na origem. Na maioria dos casos, é necessário criar tarefas para conversão ou validação de dados apenas porque não existe um processo bem definido na origem.

    O que pode ajudar é revisar algumas das Boas Práticas no SSIS. Segue abaixo um link do Blog MSDN "SQL Team":

    http://blogs.msdn.com/b/sqlcat/archive/2013/09/16/top-10-sql-server-integration-services-best-practices.aspx

    Se ajudou na sua solução, não esqueça de marcar como resposta !

    Abraços,

    Durval Ramos
    Microsoft Partner | MTA | MCSA - SQL Server 2012
    ----------------------------------
    Se foi resolvido clique "Marcar como resposta" e se foi útil "Votar como Útil"
    quinta-feira, 13 de março de 2014 14:30
    Moderador