O "Botão do TabControl" na verdade, é acessado pela propriedade Header de cada TabItem deste controle (System.Windows.Controls).
O Header é um objeto genérico (System.Object). Desta forma você pode inserir inúmeros controles na propriedade Header do TabItem.
Cada aba terá seu próprio TabItem, consequentemente, seu próprio Header. Sendo assim você poderá inserir diferentes controles aos seus respectivos Header. Por exemplo, Buttons, Rectangles, TextBlocks, Polygons, ect.
A partir da explicação acima, creio que você conseguirá customizar cada "botão" das abas do seu TabControl, como por exemplo, colorir o fundo, que é o seu objetivo.
Espero ter ajudado. Marque como resposta se esta explicação lhe foi útil.
Abs,
Cayo Fontana