Como carregar vários arquivos .log no Integration Service

Question

Estou construindo um Data Webhouse utilizando os logs de acesso do sharepoint. Preciso desenvolver um processo de ETL que carregue todas as linhas dos arquivos de log e depois faça uma transformação nelas. Não estou conseguindo carregar todos esses aquivos utilizando o foreach e o fonte de dados bruto no qual eu passo a varievel que configurei par armazera o nome do arquivo.

Gostaria da ajuda, preciso muito resolver este problema. Se alguem tiver feito um processo de carga de arquivos de log e tiver um tutorial e poder me mandar o link.

Hugo Vinícius

Answer 1

Hugo,

Particularmente nunca utilizei o Sharepoint, mas deixa eu te perguntar um coisa, este arquivo de log possui qual formato e extensão?

---

Pedro Antonio Galvão Junior - MVP - Windows Server System - SQL Server/Coordenador de Projetos/DBA

Answer 2

Junior,

Cara, o Logs estão no formato W3C do servidor IIS. Quanto a extenção é .log mesmo.

Hugo Vinícius

Answer 3

Hugo,

Obrigado pelo retorno, vou ver se consigo alguma informação para te ajudar.

---

Pedro Antonio Galvão Junior - MVP - Windows Server System - SQL Server/Coordenador de Projetos/DBA

Answer 4

Cara, veja o escopo da sua variável (todo o pacote, somente no Foreach ... se vc estiver usando uma fonte como Flat File, por exemplo, vc tem que passar essa variável como o ConnectionString via Expressions para que o arquivo mude dinamicamente na origem do seu Data Flow.

Veja essas possibilidades e nos dê um retorno.

Abraço e boa sorte!

Answer 5

ApredizBI,

Mas esta passagem da variável para a connectionstring tem que ser no DataFlow!!!!

---

Pedro Antonio Galvão Junior - MVP - Windows Server System - SQL Server/Coordenador de Projetos/DBA

Answer 6

Exatamente. Cria a conexão do Flat File, adiciona a connectionstring do Flat File ao Foreach, e dentro de um DataFlow do Foreach, vc cria suas transformações.

---

O Forte Sobreviverá e o Fraco irá Sofrer

Answer 7

Obrigado pela ajuda.

Eu consegui ler vários arquivos utilizando o foreach. Passei o a variavel como ConnectionString e funcionou.

Obrigado pela Ajuda.

Agora tenho outra duvida. Como eu sei qual foi o ultimo arquivo lido pelo foreach ou então como eu faço para ler um arquivo de log e depois eu apagar ele.

Hugo

Answer 8

Junior,
se ele estiver com um FlatFile Source para pegar os arquivos ele passa a variável do Foreach (com o nome do arquivo e sua extensão) no Expression do Flat File Connection, ex:

"C:\Pastateste\" + @NomeArquivo

No Data Flow FlatFile Source ele mapeia e segue o processo que desejar.

obs: Lembrando que tem que ser declarado um valor Default para a variável, caso contrário não será possivel fazer o mapeamento.

Pessoal, se eu estiver equivocado aguardo o retorno de vcs, vlw ! 

Answer 9

Hugo, para saber qual foi o último arquivo vc pode jogar esse valor de variável em um arquivo .txt usando o próprio Flat File Connection, para excluir o arquivo vc usa um componente do Control Flow chamado File System Task ...
ele é bem complicado de ser usado ainda mais se tratando de variável, mas tem muitos links na net que podem auxiliar vc.


Obs.: Primeiro parabéns por ter conseguido fazer esse processo de ler os arquivos e carregá-los, por favor marque como resposta o post que lhe ajudou a solucionar esse problema para que outras pessoas com o mesmo problema tenham facilidade de consulta-las !

Boa sorte !

Answer 10

ApredizBI,

Obrigado pelo retorno, era isso que eu estava imaginando.

Em nenhum momento pensei que você estava errado.

---

Pedro Antonio Galvão Junior - MVP - Windows Server System - SQL Server/Coordenador de Projetos/DBA