Olá, bom dia!
Creio que não seja possível o que deseja (pelo menos até onde conheço), pois as configurações que você fez são personalizações específicas para os dados que você inseriu, e quando você remove esses dados do gráfico leva junto estas configurações. Quando
você as reinsere o Excel carrega as configurações padrão para o gráfico em questão, pois as personalizações que você fez não existem mais.
Uma forma de não perdê-las seria apenas ocultar as colunas dos dados que não deseja exibir, mas isso não é possível se deseja utilizar slicers.
Abraço.
Filipe Magno