Li a documentação do controle e encontrei uma solução. Basta usar o ErroProvier.Clear() antes da validação exemplo:
errorProvider1.Clear();
if (textBox1.Text == "")
{
errorProvider1.SetError(textBox1, "Erro 1");
}
if (textBox4.Text == "")
{
errorProvider1.SetError(textBox4, "Erro 4");
}
if (textBox3.Text == "")
{
errorProvider1.SetError(textBox3, "Erro 3");
}
if (textBox2.Text == "")
{
errorProvider1.SetError(textBox2, "Erro 2");
}