@mek, você quer indexar o conteúdo do site, seria isso?
Esse conteúdo está em Banco de dados? Se sim, você pode utilizar o Full Text Search, com ele você cria catálogos e utiliza os predicados próprios pra pesquisa nas tabelas.
Agora caso você queira indexar também conteúdo fora do site, veja o Index Server (Search) que vem no Windows ele pode te auxiliar.
Espero ter ajudado.
Abraços,