none
Como carregar vários arquivos .log no Integration Service RRS feed

  • Pergunta

  • Estou construindo um Data Webhouse utilizando os logs de acesso do sharepoint. Preciso desenvolver um processo de ETL que carregue todas as linhas dos arquivos de log e depois faça uma transformação nelas. Não estou conseguindo carregar todos esses aquivos utilizando o foreach e o fonte de dados bruto no qual eu passo a varievel que configurei par armazera o nome do arquivo.

    Gostaria da ajuda, preciso muito resolver este problema. Se alguem tiver feito um processo de carga de arquivos de log e tiver um tutorial e poder me mandar o link.

    Hugo Vinícius
    terça-feira, 6 de outubro de 2009 18:30

Todas as Respostas

  • Hugo,

    Particularmente nunca utilizei o Sharepoint, mas deixa eu te perguntar um coisa, este arquivo de log possui qual formato e extensão?
    Pedro Antonio Galvão Junior - MVP - Windows Server System - SQL Server/Coordenador de Projetos/DBA
    quarta-feira, 7 de outubro de 2009 00:56
    Moderador
  • Junior,

    Cara, o Logs estão no formato W3C do servidor IIS. Quanto a extenção é .log mesmo.

    Hugo Vinícius
    quarta-feira, 7 de outubro de 2009 01:01
  • Hugo,

    Obrigado pelo retorno, vou ver se consigo alguma informação para te ajudar.
    Pedro Antonio Galvão Junior - MVP - Windows Server System - SQL Server/Coordenador de Projetos/DBA
    quarta-feira, 7 de outubro de 2009 01:15
    Moderador
  • Cara, veja o escopo da sua variável (todo o pacote, somente no Foreach ... se vc estiver usando uma fonte como Flat File, por exemplo, vc tem que passar essa variável como o ConnectionString via Expressions para que o arquivo mude dinamicamente na origem do seu Data Flow.

    Veja essas possibilidades e nos dê um retorno.

    Abraço e boa sorte!
    quarta-feira, 4 de novembro de 2009 12:01
  • ApredizBI,

    Mas esta passagem da variável para a connectionstring tem que ser no DataFlow!!!!
    Pedro Antonio Galvão Junior - MVP - Windows Server System - SQL Server/Coordenador de Projetos/DBA
    quarta-feira, 4 de novembro de 2009 12:44
    Moderador
  • Exatamente. Cria a conexão do Flat File, adiciona a connectionstring do Flat File ao Foreach, e dentro de um DataFlow do Foreach, vc cria suas transformações.
    O Forte Sobreviverá e o Fraco irá Sofrer
    quarta-feira, 4 de novembro de 2009 13:02
  • Obrigado pela ajuda.

    Eu consegui ler vários arquivos utilizando o foreach. Passei o a variavel como ConnectionString e funcionou.

    Obrigado pela Ajuda.

    Agora tenho outra duvida. Como eu sei qual foi o ultimo arquivo lido pelo foreach ou então como eu faço para ler um arquivo de log e depois eu apagar ele.

    Hugo
    quarta-feira, 4 de novembro de 2009 13:19
  • Junior,
    se ele estiver com um FlatFile Source para pegar os arquivos ele passa a variável do Foreach (com o nome do arquivo e sua extensão) no Expression do Flat File Connection, ex:

    "C:\Pastateste\" + @NomeArquivo

    No Data Flow FlatFile Source ele mapeia e segue o processo que desejar.

    obs: Lembrando que tem que ser declarado um valor Default para a variável, caso contrário não será possivel fazer o mapeamento.

    Pessoal, se eu estiver equivocado aguardo o retorno de vcs, vlw ! 

    quarta-feira, 4 de novembro de 2009 13:23
  • Hugo, para saber qual foi o último arquivo vc pode jogar esse valor de variável em um arquivo .txt usando o próprio Flat File Connection, para excluir o arquivo vc usa um componente do Control Flow chamado File System Task ...
    ele é bem complicado de ser usado ainda mais se tratando de variável, mas tem muitos links na net que podem auxiliar vc.


    Obs.: Primeiro parabéns por ter conseguido fazer esse processo de ler os arquivos e carregá-los, por favor marque como resposta o post que lhe ajudou a solucionar esse problema para que outras pessoas com o mesmo problema tenham facilidade de consulta-las !

    Boa sorte !
    quarta-feira, 4 de novembro de 2009 14:06
  • ApredizBI,

    Obrigado pelo retorno, era isso que eu estava imaginando.

    Em nenhum momento pensei que você estava errado.
    Pedro Antonio Galvão Junior - MVP - Windows Server System - SQL Server/Coordenador de Projetos/DBA
    quarta-feira, 4 de novembro de 2009 16:59
    Moderador