Processar Arquivo Grande EM CSV

Question

Possuo uma rotina em ASP.Net MVC aonde eu leio um arquivo CSV, aonde percorro cada linha do mesmo verificando os registros.
Local essa rotina executa sem maiores problemas, mas ao executar em produção o mesmo fica lento, uma solução que pensei para resolver este problema de performance seria criar várias threads, aonde cada thread lê-se 100 linhas.
Isso seria uma boa solução ?

---

Se a resposta for útil marque - a como útil Atrás de conhecimento ? Acesse : http://brudesenv.wordpress.com/

Answer 1

Ninho, tudo depende de como você precisa deste processamento, e de quantos processamentos você precisa fazer ao mesmo tempo, do tamanho dos arquivos, etc.

Se você não vai ter muitos arquivos sendo processados em paralelo, você pode trabalhar com a Task Parallel Library, ou mesmo utilizar PLinq.

Caso você não precisa do resultado deste processamento imediatamente, minha sugestão seria utilziar processamento em background com filas (como Msmq ou rabbitmq).

Answer 2

Qual operação você realiza com o conteúdo deste CSV? Talvez a lentidão não está simplesmente na leitura do arquivo, mas o que você faz com o conteúdo.

---

If you found this post helpful, please "Vote as Helpful". If it actually answered your question, remember to "Mark as Answer". Se achou este post útil, por favor clique em "Votar como útil". Se por um acaso respondeu sua dúvida, lembre de "Marcar como Resposta".