none
Qual amelhor forma de verificar se um Data Mart/Data Warehouse reflecte a verdade do negocio? RRS feed

  • Pergunta

  • Bom dia, gostava de saber qual a vossa opinião em relação a forma de como verificar se o Data Mart criado reflecte na verdade o negocio da organização, se contêm toda a informação, salvo excepções de erros, que foram necessários eliminar, visto que nao dava para corrigir.

     

    Bem eu quero confirmar se o meu Data Warehouse é verdadeiro!!

     

    Qual a melhor forma?

    quinta-feira, 19 de janeiro de 2012 10:41

Todas as Respostas

  • Bom Dia,

    Filosófico, mas vejamos de forma mais objetiva para não devanear demais...

    Acredito que a melhor forma de verificar é comparar as informações que são entregues pelo Data Warehouse com outras informações que são produzidas por outros meios como um relatório, uma aplicação, etc e ver se "bate".

    A maioria das empresas não espera o Data Warehouse ficar pronto para produzir dados analíticos. Então deve haver alguma outra forma de obter esses dados e produzir informação. Compare essas alternativas com o que o seu DW está entregando e veja se os números estão batendo.

    O problema dessa abordagem é que é possível que haja divergências e isso não significa necessariamente que o DW está errado. Pode ser uma questão de latência (dados que ainda não foram para o DW), ou de apuração (as regras no processo de ETL estão diferentes das outras aplicações e pode ser inclusive que a do DW é a mais correta).

    [ ]s,

    Gustavo Maia Aguiar
    Blog: http://gustavomaiaaguiar.wordpress.com
    Vídeos: http://www.youtube.com/user/gmasql


    Classifique as respostas. O seu feedback é imprescindível
    quinta-feira, 19 de janeiro de 2012 11:57
  • TheAkaBroken,

    Normalmente este tipo de análise é resultado de uma comparação entre as fontes de dados, mas em diversas situações a existência ou não do DW não é o fator principal, o DW tem que existir mas sua atual posição de dados não condiz com a realidade da análise do que a empresa esta tratando.

    Existem fatores e cenários que podem ocorrer esta latência ou apuração dos dados como o Gustavo Maia destacou, mas também pode ocorrer variações das informações.

    Quando realizamos o processo de ETL temos que analisar as condições e regras de negócios definidas durante a execução deste processo de carga, na fase de transformação das informações podemos acabar gerar variações de informações que resultam na latência de dados.

    Resumindo, na minha opinião você terá que comparar o que se encontra no seu DW em relação ao que esta em suas outras fontes de informação. Os Datamarts é o resultado de pequenas partes de dados do seu DW.


    Pedro Antonio Galvão Junior [MVP | Microsoft Evangelist | Microsoft Partner | Engenheiro de Softwares | Especialista em Banco de Dados | SorBR.Net | Professor Universitário | MSIT.com]
    domingo, 22 de janeiro de 2012 00:16
    Moderador
  • Oi, de facto eu estou a confirmar que não está batendo certo, está faltando qualquer coisa... Mas nao sei o que. Basicamente o que acontece é que n processo ETL faço vários MERGES JOIN com as Dimensões por causa do ID identity que criei em cada dimensão. Mas no Join principal que dá origem a tabela de factos, Vendas, carrega o mesmo numero de linhas, tanto quantas aquelas que eu faço no SQL MS, utilizando o script. Portanto penso estar bem. Por outro lado a comparar com uma views criadas para a gestão, não está batendo certo os valores..Se calhar o erro é meu,pois estou a pensar da mesma maneira...ao fazer o join para confirmar, em sql.

     

    Fiz me entender... 

     

    Outra questão é porque existem dados que se perdem ao longo do fluxo de ETL? Nao nao percebo muito bem...

    quinta-feira, 2 de fevereiro de 2012 18:17
  • TheAkaBroken,

    Basicamente a relação estabelecida no Merge não estão sendo totalmente satisfatórias para apresentar os dados.

     

    Minha sugestão verifique todos estes Joins diretamente no SQL Server antes de implamentar no seu DW.


    Pedro Antonio Galvão Junior [MVP | Microsoft Evangelist | Microsoft Partner | Engenheiro de Softwares | Especialista em Banco de Dados | SorBR.Net | Professor Universitário | MSIT.com]
    domingo, 5 de fevereiro de 2012 12:34
    Moderador