none
Dts nao importa arquivo inteiro RRS feed

  • Pergunta

  • Boas pessoal, estou com um caso aqui que nao encontrei nada parecido em nenhum forum

    espero que possam me ajudar, tenho o sql server 2008 que foi migrado ja faz um tempo so que nele tenho alguns

    pacotes DTS que foram migrados e nisso ficou, alguns pacotes que foram feito nao importam um arquivo txt por inteiro

    por exemplo um arquivo tem 120.000 ele so importa ate o 90.000 o que pode ser ? fiz um teste no access e ele importa todos os registros. obrigado a quem puder ajudar 

    detalhe ja exclui o pacote e criei de novo e executei ele sempre para na mesma linha


    • Editado Uelson.Jr terça-feira, 17 de dezembro de 2013 12:38 retificaçao
    terça-feira, 17 de dezembro de 2013 12:33

Respostas

  • Uelson,

    Utilizando tudo como valores "texto", eu tive de fazer algumas considerações:

    1. O datatype dos campos na tabela eu mudei de "NVARCHAR" para "VARCHAR"
    2. No mapeapendo dos campo, criei um "Data Conversion" para tratar o último campo, que em alguns casos "não está preenchido" (vazio). Isto me parece desnecessário se você sempre receber arquivos deste formato
    3. Criei um arquivo de expurgo para todas às linhas com problema. A boa notícia é que nenhuma linha está fora do lay-out

    Segue o print-screen da execução:

    A parte mais trabalhosa mesmo foi mapear os campos do arquivo para a Task "Flat File". Acabei utilizando o "Data Viewer" entre a Task "Flat File" e o "Data Conversion" que me ajudou no mapeamento. Veja o print-screen dos campos deslocados:

    Não esqueça de marcar todos os posts que ajudaram na solução como resposta !

    Abraços,

    Durval Ramos
    Microsoft Partner | MTA - SQL Server 2012
    ----------------------------------
    Se foi resolvido clique "Marcar como resposta" e se foi útil "Votar como Útil"
    • Marcado como Resposta Uelson.Jr terça-feira, 21 de janeiro de 2014 17:23
    terça-feira, 21 de janeiro de 2014 17:03
    Moderador

Todas as Respostas

  • Deleted
    terça-feira, 17 de dezembro de 2013 13:13
  • Uelson,

        Você pode colocar Data Viewers no momento da execução do pacote para ver onde está parando e quais os dados está ou não importando...


    Roberto Fonseca MCT / MCITP - Database Administrator 2008 MCITP - Database Developer 2008 MCITP - Business Intelligence 2008

    terça-feira, 17 de dezembro de 2013 14:03
    Moderador
  • ola, 

    o log que dizem é esse ?


    Package Steps execution information:


    Step 'DTSStep_DTSDataPumpTask_1' succeeded
    Step Execution Started: 17/12/2013 14:10:49
    Step Execution Completed: 17/12/2013 14:12:26
    Total Step Execution Time: 97,516 seconds
    Progress count in Step: 1249509 ----- o numero correto de linhas é 1290062

    Step 'DTSStep_DTSExecuteSQLTask_1' succeeded
    Step Execution Started: 17/12/2013 14:10:49
    Step Execution Completed: 17/12/2013 14:10:49
    Total Step Execution Time: 0,047 seconds
    Progress count in Step: 0
    ****************************************************************************************************

    terça-feira, 17 de dezembro de 2013 16:16
  • Uelson.Jr,

    Sim pode ser esta log!!!

    Por curiosidade, qual é o tamanho do arquivo que você esta tentando importar?


    Pedro Antonio Galvão Junior [MVP | Microsoft Evangelist | Microsoft Partner | Engenheiro de Softwares | Especialista em Banco de Dados | SorBR.Net | Professor Universitário | MSIT.com]

    sexta-feira, 20 de dezembro de 2013 12:53
    Moderador
  • Junior, ele tem 330Mb no caso desse exemplo

    existem outros pacotes maiores que tem por volta de 600Mb alguns desses tbm acontece a mesma coisa


    • Editado Uelson.Jr sexta-feira, 20 de dezembro de 2013 13:30 retificacao
    sexta-feira, 20 de dezembro de 2013 13:26
  • Uelson, veja se existe algum caracter especial no meio do arquivo. Eu sempre utilizo o textpad para abrir arquivos txt´s problemáticos. 1.2M dependendo da qtde de memória da máquina, dá pra abrir tranquilo.

    Abs.


    Eduardo Gomes - http://www.h1solucoes.com.br - Twitter: @edugp_sp

    sexta-feira, 27 de dezembro de 2013 18:12
  • Uelson,

    Teoricamente 600Mbs atualmente não representa um arquivo grande em relação ao seu tamanho, mas o que pode estar acotencendo é que em alguma parte deste arquivo a sua estrutura possa estar fora dos padrões de compatibilidade que o DTS necessita pare realizar a importação.

    Há muitos anos tive um problema simular, e a forma de encontrar e identificar o que poderia estar atrapalhando foi dividir este arquivo em outros arquivos de tamanhos menores e realizar a importação de forma gradativa, com isso, consegui encontrar o que estava atrapalhando.

    Outra possibilidade que você pode ter fazer, é identificar até que ponto o arquivo é importando, com isso, localizar esta posição de dados dentro do arquivo e depois fazer a análise após esta posição.


    Pedro Antonio Galvão Junior [MVP | Microsoft Evangelist | Microsoft Partner | Engenheiro de Softwares | Especialista em Banco de Dados | SorBR.Net | Professor Universitário | MSIT.com]


    sexta-feira, 3 de janeiro de 2014 12:18
    Moderador
  • Junior, Eduardo

    eu dividi o arquivo, e adivinha o que aconteceu ele importou menos rs, correndo pelo olho nao tem sujeira nenhum tipo caractere especial.


    • Editado Uelson.Jr segunda-feira, 6 de janeiro de 2014 12:27 retificaçao
    segunda-feira, 6 de janeiro de 2014 12:26
  • Uelson,

    Nossa é importado menos ainda!!!

    Em vamos usar o termo dividir para conquistar, faça a importação de forma individual e verifique o conteúdo de alguma parte que não é importada.


    Pedro Antonio Galvão Junior [MVP | Microsoft Evangelist | Microsoft Partner | Engenheiro de Softwares | Especialista em Banco de Dados | SorBR.Net | Professor Universitário | MSIT.com]

    sexta-feira, 10 de janeiro de 2014 13:18
    Moderador
  • Uelson, alguma novidade?

    Edinaldo Oliveira

    Esse conteúdo é fornecido sem garantias de qualquer tipo, seja expressa ou implícita.

    ** Por favor, lembre-se de “Marcar como Resposta” as respostas que resolveram o seu problema. Essa é uma maneira comum de reconhecer aqueles que o ajudaram e fazer com que seja mais fácil para os outros visitantes encontrarem a resolução mais tarde. **

    sábado, 11 de janeiro de 2014 12:52
  • Eu fiz um pacote dtsx aqui no pc de casa ele importou tudo sem erro, e eu fiz as configuraçoes na mesma estrutura, teria algo a ver eu estar remoto ?acredito que nao 
    ah detalhe la é um pacote dts,

    como o Junior tinha falado com certeza deve ser algo que nao esta nos padroes da dts mais o que acho estranho  é que nos outros registros seguem a mesma estrutura na forma de armazenar, e importa e agora fazendo aqui aqui em casa pelo integration importou tudo

    • Editado Uelson.Jr segunda-feira, 20 de janeiro de 2014 14:11 re
    sábado, 11 de janeiro de 2014 13:11
  • Boas pessoal, olhem so 2 imagens 1 do txt e outra de quando montei o pacote pelo integration parece que perde alguma configuraçao

    na criaçao do pacote

    segunda-feira, 20 de janeiro de 2014 14:03
  • Boas pessoal, olhem so 2 imagens 1 do txt e outra de quando montei o pacote pelo integration parece que perde alguma configuraçao

    na criaçao do pacote

    Uelson,

    Com certeza, uma ou mais colunas do arquivo txt não atende uma das tarefas no SSIS. Provavelmente por dados truncados ou datatype incorreto.

    Você poderia disponibilizar umas 15 linhas (preferencialmente estas que você exibiu) para que possamos realizar um teste de execução ?

    Se possível, indique o nome dos campos e o datatype de cada um, para que o ambiente de simulação seja próximo ao que você tem.

    Abraços,

    Durval Ramos
    Microsoft Partner | MTA - SQL Server 2012
    ----------------------------------
    Se foi resolvido clique "Marcar como resposta" e se foi útil "Votar como Útil"
    segunda-feira, 20 de janeiro de 2014 15:51
    Moderador
  • Durval sem problemas 

    segue http://sdrv.ms/1jom2oX

    segunda-feira, 20 de janeiro de 2014 17:09
  • Durval sem problemas 

    segue http://sdrv.ms/1jom2oX

    Uelson,

    Sua tabela é toda com campo NVARCHAR mesmo ?

    Preciso da confirmação porque isto pode fazer diferença no resultado final.

    Abraços,

    Durval Ramos
    Microsoft Partner | MTA - SQL Server 2012
    ----------------------------------
    Se foi resolvido clique "Marcar como resposta" e se foi útil "Votar como Útil"
    segunda-feira, 20 de janeiro de 2014 19:04
    Moderador
  • no caso que eu estava colocando aqui sim, coloquei td como texto para ver se dava certo porque no access so funcionou assim
    segunda-feira, 20 de janeiro de 2014 19:30
  • Uelson,

    Utilizando tudo como valores "texto", eu tive de fazer algumas considerações:

    1. O datatype dos campos na tabela eu mudei de "NVARCHAR" para "VARCHAR"
    2. No mapeapendo dos campo, criei um "Data Conversion" para tratar o último campo, que em alguns casos "não está preenchido" (vazio). Isto me parece desnecessário se você sempre receber arquivos deste formato
    3. Criei um arquivo de expurgo para todas às linhas com problema. A boa notícia é que nenhuma linha está fora do lay-out

    Segue o print-screen da execução:

    A parte mais trabalhosa mesmo foi mapear os campos do arquivo para a Task "Flat File". Acabei utilizando o "Data Viewer" entre a Task "Flat File" e o "Data Conversion" que me ajudou no mapeamento. Veja o print-screen dos campos deslocados:

    Não esqueça de marcar todos os posts que ajudaram na solução como resposta !

    Abraços,

    Durval Ramos
    Microsoft Partner | MTA - SQL Server 2012
    ----------------------------------
    Se foi resolvido clique "Marcar como resposta" e se foi útil "Votar como Útil"
    • Marcado como Resposta Uelson.Jr terça-feira, 21 de janeiro de 2014 17:23
    terça-feira, 21 de janeiro de 2014 17:03
    Moderador
  • Uelson,

    Complementando.

    Apenas como evidência da conclusão, segue o print-screen da tabela, com os dados importados:

    Não esqueça de marcar todos os posts que ajudaram na solução como resposta !

    Abraços,
    Durval Ramos
    Microsoft Partner | MTA - SQL Server 2012
    ----------------------------------
    Se foi resolvido clique "Marcar como resposta" e se foi útil "Votar como Útil"
    terça-feira, 21 de janeiro de 2014 17:06
    Moderador
  • Durval, neste pacote, porque vc usou VARCHAR  ao invés de NVARCHAR?

    No que o NVARCHAR interferia no processo?


    Eduardo Gomes - http://www.h1solucoes.com.br - Twitter: @edugp_sp

    terça-feira, 21 de janeiro de 2014 17:09
  • Durval, neste pacote, porque vc usou VARCHAR  ao invés de NVARCHAR?

    No que o NVARCHAR interferia no processo?


    Eduardo Gomes - http://www.h1solucoes.com.br - Twitter: @edugp_sp

    Eduardo,

    Os tipos de dados, apesar de "parecerem" semelhantes ocupam diferentes espaços no armazenamento e, consequentemente no I/O. 

    O datatype "NVARCHAR" é UNICODE e o "VARCHAR" é ISO. Parece bobagem, mais só nisto já é uma grande diferença. Além disso, o tamanho ocupado por um valor do tipo "VARCHAR" é menor que um "semelhante" inserido como "NVARCHAR".

    Se ajudou na sua solução, não esqueça de marcar como resposta !

    Abraços,

    Durval Ramos
    Microsoft Partner | MTA - SQL Server 2012
    ----------------------------------
    Se foi resolvido clique "Marcar como resposta" e se foi útil "Votar como Útil"
    terça-feira, 21 de janeiro de 2014 17:16
    Moderador
  • Uelson,

    Utilizando tudo como valores "texto", eu tive de fazer algumas considerações:

    1. O datatype dos campos na tabela eu mudei de "NVARCHAR" para "VARCHAR"
    2. No mapeapendo dos campo, criei um "Data Conversion" para tratar o último campo, que em alguns casos "não está preenchido" (vazio). Isto me parece desnecessário se você sempre receber arquivos deste formato
    3. Criei um arquivo de expurgo para todas às linhas com problema. A boa notícia é que nenhuma linha está fora do lay-out

    Segue o print-screen da execução:

    A parte mais trabalhosa mesmo foi mapear os campos do arquivo para a Task "Flat File". Acabei utilizando o "Data Viewer" entre a Task "Flat File" e o "Data Conversion" que me ajudou no mapeamento. Veja o print-screen dos campos deslocados:

    Não esqueça de marcar todos os posts que ajudaram na solução como resposta !

    Abraços,

    Durval Ramos
    Microsoft Partner | MTA - SQL Server 2012
    ----------------------------------
    Se foi resolvido clique "Marcar como resposta" e se foi útil "Votar como Útil"

    Durval, 

    show de bola!! obrigado, aproveitando a pergunta do Eduardo serviu como resposta para mim tbm...vou criar aqui o pacote na mesma estrutura valeu.. abraços a todos

    terça-feira, 21 de janeiro de 2014 17:23