Ga !

Notons r et R les rayons, A et B les centres des sphères S1 et S2 respectivement et supposons r < R. Notons s le rayon commun des sphères solides et soit C le centre de l'une d'elles. Soit D le pied de la perpendiculaire issue de C à la droite passant par A et B. Les centres des sphères solides forment un polygone régulier à n côtés avec côtés 2s et centre D; le rayon de son cercle circonscrit est CD.
Il s'ensuit que:

sin (π/n)  = s/CD        (1)

En utilisant la formule de Héron pour le triangle ABC, on a:

CD(r+R) = 2√((r+R+s)rRs)

A partir de ça, on obtient:

s²/CD² = s(r+R)² / 4rR(r+R+s)        (2)

On peut maintenant choisir l'unité de longueur de sorte que r + R = 2. Alors (1) et (2) impliquent 1/sin²(π/n) = rR(1+ 2/s)       (3)

La droite passant par le sommet du cône et le point de rencontre du cône et la sphère solide de centre C rencontre la droite AB au sommet du cône. Soit w l'angle entre ces deux droites. Alors, comme cette droite est aussi tangente à S1 et S2, on a :

R-r = (R+r)sin w = 2 sin w

Ceci implique: r = 1- sin w, R = 1 + sin w et alors rR = cos²w      (4)

De (3) et (4), on a:

1/sin²(π/n) = (1 + 2/s) cos²w        (5)

Soit E le pied de la perpendiculaire de A à la perpendiculaire de B à L. Soit E1 le pied de la perpendiculaire de C à la droite passant par A et E. Soit F le pied de la perpendiculaire de C à la perpendiculaire de B à L. Donc: CF = E1E.

En appliquant le théorème de Pythagore pour les triangles ACE1 et BCF, on obtient:

AE1² = (r+s)² - (r-s)² = 4rs
CF² = (R+s)² - (R-s)² = 4Rs

et donc

AE = AE1 + CF = 2√s (√R + √r)

D'où...

2√s (√R + √r) = (R+r) cos w = 2 cos w

Ou de (4):

s = cos² w  / 2(1+√Rr)  = cos² w  / 2(1+cos w)

et donc...

2/s = 4(1+cos w)/cos² w

De (5), on déduit que :

1/sin²(π/n) = cos² w + 4(1+cos w)

et par suite:  2 + cos w = 1/sin(π/n)

Maintenant, comme 0 < cos w < 1, on obtient: 1/3 < sin(π/n) < 1/2

Or: 1/2 = sin π/6 > sin π/7 > sin π/8 > sin π/9 > 1/3 > sin π/10

Donc les seules valeurs possibles de n sont 7, 8 et 9.

Bravo à Jackv pour sa réponse approchante.

Ma réponse précédente était entachée d'une étourderie, excusez-moi.

Une inversion ayant pour pôle le point de contact des deux sphères transforme celles-ci en deux plans parallèles,
et le cône en un tore fermé compris entre ces deux plans.
("tore fermé"=ce n'est pas un anneau)

Le problème est devenu beaucoup plus simple.
Les sphères à placer sont maintenant comprises entre les deux plans, et tangentes au tore
le long de son grand cercle "comme les billes d'un roulement".

Dans le plan médian, il s'agit de caser des cercles de rayon 1 entre deux cercles concentriques
de rayons R et R+1, avec [latex]1<R\le2[/latex].

Pas besoin de calculs compliqués pour trouver comme valeurs possibles 6 (dégénéré), 7, 8, et 9.
Les cercles "billes" étant sur un cercle centré de rayon [latex]\le1.5[/latex], il est impossible d'en mettre plus de 9.
N.B. 9 passe "juste" car [latex]9*sin(\pi/9)<\pi[/latex].