Acho que para que as cores dos controles não mude vc tem explicitá-las por que a partir do momento que elas não foram definidas utilizam a cor do fundo que no caso é a do form.
Exemplo:
panel1.BackColor =
Color.Blue;
this.BackColor = Color.Cyan;
Uma vez definida a cor do panel vc pode mudar a do form como e quantas vezes quiser.
