Classes e modificadores de acesso

Question

Quando crio uma classe como publica, varias outras classes podem acessa-la e acessar seus membros.
Tb sei que temos outros modificadores como private, protected, etc.

Mas e se eu crio uma classe private ou protected, como outras classes podem invoca-la ou acessar seus membros ?
Isso quer dizer entao que todas classes devem ser publicas para poderem ser usadas por alguem ?