Sí, tener muchos controles en un formulario perjudicará a su velocidad de carga. Si esto se convierte en un problema, y no necesitas que todos se vean a la vez (por ejemplo, si algunos pueden ir en paneles ocultos, o en tabs de un tabcontrol, etc), puedes
sacarlos a uno o más UserControls y solo agregar el user control al formulario que lo contiene en el momento en que sea necesario que se vea.
Otro problema de tener muchos controles en el formulario es la mantenibilidad. Afecta a dos aspectos: uno es la mantenibilidad del diseño. En caso de que haya que reorganizar el contenido de la pantalla, es difícil hacerlo si contiene muchos controles directamente
sobre el formulario. Una forma de aliviarlo es agrupar los controles dentro de otros contenedores, tales como Paneles, Groupboxes, etc.
El otro problema de mantenibilidad es el de "código spaghetti" en el code-bebind, que se llena desordenadamente de manejadores de eventos conectadas a los muchos controles que hay en el formulario. Esto se alivia usando UserControls.
Se agrupan los controles relacionedos entre sí dentro de un UserControl, y los manejadores de los eventos de esos controles se dejan en el código del UserControl. De esa manera, no "polucionan" el código del formulario que contiene al UserControl.