Isso é normal, afinal, é uma super árvore, né?
Mas a minha dica, seria você carregar inicialmente os nós PAIS e abrir os demais por demanda.
Ao clicar no pai, você carrega os filhos deste pai, e ao clicar em um filho, você busca os filhos deste filho, e por aí vai.
Fica, sem dúvidas, muito melhor para o seu caso que é de milhares de registros.