none
Processamento de Partições X Dimensões RRS feed

  • Pergunta

  • Bom Dia Senhores, 

    Estou com a seguinte situação, estou com processamento de cubos que esta demorando em torno de 9 horas, o banco de dados é gigantesco em torno de uns 20 milhões de registro, isso porque eu já criei partições filtrados por anos. Dai eu percebi que não preciso processar as partições dos anos anteriores, só a partição do ano atual por exemplo.

    Se eu processar somente a partição do ano atual fica ok, Status Processado no cubo. Mas ai tenho que processar as dimensões sempre,

    então eu processo a partição escolhida e depois as dimensões, porém o cubo é "apagado", ou seja, as partições processadas anteriormente somem e fica somente  a partição escolhida processada e com o Status Parcialmente processado.

    OBS:. O Processamento dos cubos é feito no junto com projeto de ETL. Então é lá que quero colocar, lá não tem a opção de Process Update.

    Como eu posso estar processando a ultima partição, as dimensões sem interferir no que já foi processado, ou seja só atualizar a partição sem destruir as demais processadas.  ??????????

    Agradeço desde já.

    Obrigado,

    Thiago Batista Ferreira



    quinta-feira, 8 de março de 2012 14:27

Respostas

  • Bom Dia Pessoal, 

    É o seguinte, eu consegui fazer o que queria... E é muito simples, ao invés de processar as dimensões usando a tarefa de process eu utilizei a tarefa onde eu consigo colocar um código em xml para somente atualizar as dimensões no projeto.dtsx.

    Funcionou que uma beleza, de 9 horas de processamento caiu para 3 horas.

    Muito obrigado a todos que me ajudaram. 

    quarta-feira, 28 de março de 2012 12:51

Todas as Respostas

  • Thiago, tente a opção de processamento: Process Incremental

    E se fizer alguma alteração de estrutura de atributos/medidas, utilize a opção: Process Structure

    Abs.


    Eduardo Gomes - http://www.h1solucoes.com.br - Twitter: @edugp_sp

    sexta-feira, 9 de março de 2012 13:40
  • Eduardo, como seria o Process Incremental, eu configuro na Tarefa de Processamento de Analysis em Opções de processo ?
    sexta-feira, 9 de março de 2012 14:10
  • Vc criou um job para processar o(s) cubo(s), via DTSX?

    Abs.


    Eduardo Gomes - http://www.h1solucoes.com.br - Twitter: @edugp_sp

    sexta-feira, 9 de março de 2012 14:11
  • Não, 

    O Job que tenho é para executar o pacote de ETL e dentro do ETL tenho uma Task que processa os Cubos ! 

    sexta-feira, 9 de março de 2012 14:20
  • ok, vc deverá abrir este pacote de ETL para editá-lo --> Dê um duplo clique na task que processa o(s) cubo(s) -->  Vai aparecer a lista dos cubos. Selecione o cubo desejado --> em Process Option --> Selecione a opção Process Incremental

    Salve o seu pacote ETL de forma que o job agent entenda esta alteração.

    Abs.


    Eduardo Gomes - http://www.h1solucoes.com.br - Twitter: @edugp_sp

    sexta-feira, 9 de março de 2012 14:24
  • Então, 

    Não tem essa opção, de process Incremental, nem process Update, só tem process full, data, structure, default, unprocess.

    Lembrando que a versão do meu SQL Server é a 2008 R2 Enterprise.  

    sexta-feira, 9 de março de 2012 14:27
  • Eduardo, 

    Eu encontrei o Process Incremental porém esta opção só esta disponível pra mim se eu processar manualmente o cubo, 

    lá na TASK do Analysis service do projeto de ETL não mostra esta opção !

    Entendeu ?

    sexta-feira, 9 de março de 2012 19:56
  • Sim, deveria aparecer sim. Vc está fazendo via pacote DTSX no integration services?

    Antes de continuarmos neste caminho, gostaria que realizasse um teste se realmente esta opção de processamento atende as suas necessidades.

    Por favor, faça o processamento mesmo manual e veja se os dados de outras partições ainda continuam.

    Abs.


    Eduardo Gomes - http://www.h1solucoes.com.br - Twitter: @edugp_sp

    sexta-feira, 9 de março de 2012 19:59
  • Eduardo,

    Eu estou fazendo em um pacote dtsx no IS.

    Quando eu clico com o botão direito do mouse sobre o cubo "que esta é a forma manual", eu processo ele Full com suas relativas dimensões.

    O Processo fica tudo processado, acabei de visualizar no Sql Management Studio, e o cubo e suas partições estão com o Status Processados.

    Ok... 

    sexta-feira, 9 de março de 2012 20:07
  • ok, isto significa que a dúvida foi sanada?

    Abs.


    Eduardo Gomes - http://www.h1solucoes.com.br - Twitter: @edugp_sp

    sexta-feira, 9 de março de 2012 20:09
  • rsrsrsrs minha dúvida não foi sanada,

    Vou tentar ser mais claro, minha dúvida é: Processar somente uma partição e as dimensões sem afetar as outras partições já processadas na Task do dtsx. Acontece que quando eu processo as dimensões e processo a ultima partição, as partições anteriores processadas ficam vazias.

    Esse é meu problema. Como fazer isso sem afetar as partições já processadas.

    sexta-feira, 9 de março de 2012 20:12
  • Bom Dia Pessoal, 

    É o seguinte, eu consegui fazer o que queria... E é muito simples, ao invés de processar as dimensões usando a tarefa de process eu utilizei a tarefa onde eu consigo colocar um código em xml para somente atualizar as dimensões no projeto.dtsx.

    Funcionou que uma beleza, de 9 horas de processamento caiu para 3 horas.

    Muito obrigado a todos que me ajudaram. 

    quarta-feira, 28 de março de 2012 12:51
  • Pow Thiago, que legal cara... como que vc cria esse XML ? E vc processa via SSIS?

    Abs.


    Eduardo Gomes - http://www.h1solucoes.com.br - Twitter: @edugp_sp

    quarta-feira, 28 de março de 2012 12:53
  • Olá Thiago, tudo bem?

    Tenho a mesma necessidade que você, mas não entendi sua resposta. Você diz um script XMLA? E qual seria a estrutura deste script?

    Tentei ProccessUpdate nas dimensões, mas dá erro quando tento processar o cubo.

    Grato,

    Marco


    Analista de Business Intelligence

    sexta-feira, 1 de junho de 2012 18:47
  • Olá Thiago e pessoal,

    Passei pela mesma situação: ao fazer "Process Full" nas dimensões era necessário fazer também "Process Full" no cubo em todas suas partições, o que leva o processamento a demorar muito; ao fazer "Process Update" nas dimensões, os cubos ficavam como não processados.

    Pesquisei e descobri uma solução que, no meu caso funcionou: foi preciso alterar os "Attributes Relationships" das hierarquias das dimensões de "Rigid" para "Flexible". Se um atributo de uma dimensão sofre exclusão ou atualização, "Process Update" dá erro, sendo necessário o "Process Full" na dimensão e consequentemente no cubo. Com os relacionamentos em "Flexible" consegui fazer "Process Update" nas dimensões e "Process Full" apenas nas partições atualizadas do cubo. O processamento caiu de 3 horas para 30 minutos, que era o resultado esperado.

    Abs,

    Marco


    Analista de Business Intelligence

    • Sugerido como Resposta Marco A. Lázaro segunda-feira, 4 de junho de 2012 13:18
    segunda-feira, 4 de junho de 2012 13:18