Inquiridor
Como carregar vários arquivos .log no Integration Service

Pergunta
-
Estou construindo um Data Webhouse utilizando os logs de acesso do sharepoint. Preciso desenvolver um processo de ETL que carregue todas as linhas dos arquivos de log e depois faça uma transformação nelas. Não estou conseguindo carregar todos esses aquivos utilizando o foreach e o fonte de dados bruto no qual eu passo a varievel que configurei par armazera o nome do arquivo.
Gostaria da ajuda, preciso muito resolver este problema. Se alguem tiver feito um processo de carga de arquivos de log e tiver um tutorial e poder me mandar o link.
Hugo Vinícius
Todas as Respostas
-
Hugo,
Particularmente nunca utilizei o Sharepoint, mas deixa eu te perguntar um coisa, este arquivo de log possui qual formato e extensão?
Pedro Antonio Galvão Junior - MVP - Windows Server System - SQL Server/Coordenador de Projetos/DBA -
-
-
Cara, veja o escopo da sua variável (todo o pacote, somente no Foreach ... se vc estiver usando uma fonte como Flat File, por exemplo, vc tem que passar essa variável como o ConnectionString via Expressions para que o arquivo mude dinamicamente na origem do seu Data Flow.
Veja essas possibilidades e nos dê um retorno.
Abraço e boa sorte! -
-
-
Obrigado pela ajuda.
Eu consegui ler vários arquivos utilizando o foreach. Passei o a variavel como ConnectionString e funcionou.
Obrigado pela Ajuda.
Agora tenho outra duvida. Como eu sei qual foi o ultimo arquivo lido pelo foreach ou então como eu faço para ler um arquivo de log e depois eu apagar ele.
Hugo -
Junior,
se ele estiver com um FlatFile Source para pegar os arquivos ele passa a variável do Foreach (com o nome do arquivo e sua extensão) no Expression do Flat File Connection, ex:
"C:\Pastateste\" + @NomeArquivo
No Data Flow FlatFile Source ele mapeia e segue o processo que desejar.
obs: Lembrando que tem que ser declarado um valor Default para a variável, caso contrário não será possivel fazer o mapeamento.
Pessoal, se eu estiver equivocado aguardo o retorno de vcs, vlw ! -
Hugo, para saber qual foi o último arquivo vc pode jogar esse valor de variável em um arquivo .txt usando o próprio Flat File Connection, para excluir o arquivo vc usa um componente do Control Flow chamado File System Task ...
ele é bem complicado de ser usado ainda mais se tratando de variável, mas tem muitos links na net que podem auxiliar vc.
Obs.: Primeiro parabéns por ter conseguido fazer esse processo de ler os arquivos e carregá-los, por favor marque como resposta o post que lhe ajudou a solucionar esse problema para que outras pessoas com o mesmo problema tenham facilidade de consulta-las !
Boa sorte ! -