Toma un informe que ya esté generado en PDF, e intenta seleccionar el texto de la tabla. Si no te deja seleccionarlo, o si se selecciona toda la tabla de golpe, indicando que es una imagen en lugar de una tabla de texto, esa puede ser la causa de que el
informe "pese" mucho. Este tipo de generación de gráfico en lugar de texto ocurre (según he oído, a mí no me ha pasado) cuando la tabla se sale de los márgenes, y entonces el renderizador PDF "tira la toalla" y lo genera todo en un gráfico.
Pero si el problema no es ese o algo parecido, entonces me temo que tiene poco remedio. El ReportViewer no tiene ninguna configurabilidad en cuanto a la generación de los PDF. Hace lo que hace, y no se puede cambiar nada.
Si el tamaño del informe es algo vital y necesariamente tienes que reducirlo, entonces puede ser que tengas que prescindir del RepotViewer y generar el PDF directamente mediante alguna librería tal como iTextSharp, metiendo dentro el mínimo número imprescindible
de objetos para que se genere el formato deseado.