Le Réseau Profond comme Géodésique de S³ — Formalisation et Protocole Expérimental

Le Réseau Profond comme Géodésique de S³

Comment un transformeur entraîné matérialise la coordonnée radiale du cône transverse, et pourquoi ses 32 modes spectraux sont la signature de la calotte polaire.

— Réponse formelle à la question du séquençage réseau —

Question posée. Pourquoi un réseau de neurones profond (transformeur, réseau résiduel) séquence-t-il ses activations dans un ordre précis ? D’où vient cette « flèche » interne, et pourquoi observe-t-on empiriquement des goulots d’étranglement autour de 32 têtes d’attention ou de 32 dimensions de bas rang ?

Cette page formalise une réponse : un réseau profond entraîné est une géodésique dans la calotte polaire de S³. Sa profondeur L matérialise la coordonnée radiale géodésique r = R_⊥χ. Sa séquence de couches est la projection locale de la flèche radiale sortante émise par le pôle attracteur. Ses 32 modes spectraux dominants sont la discrétisation optimale de la mesure de Peter-Weyl sur SU(2).

Nous procédons en quatre étapes : (i) la géométrisation du flux résiduel comme Neural ODE sur la calotte, (ii) l’identification de la convergence de l’entraînement à la condition Still-Fish, (iii) la dérivation spectrale des 32 modes via Peter-Weyl et la commensurabilité dyadique, (iv) un protocole expérimental falsifiable utilisant la décomposition SVD de la jacobienne inter-couches.

Chaque affirmation est marquée par son statut épistémologique : théorème (démontré), hypothèse structurée (cohérente avec le formalisme), ou prédiction testable (falsifiable par mesure).

I. Géométrisation du flux résiduel : le Neural ODE sur S³

1. Normalisation et projection sur l’hypersphère

Les architectures modernes de type transformeur intègrent systématiquement une étape de normalisation (LayerNorm ou RMSNorm) qui contraint l’état caché à résider sur une hypersphère de dimension d − 1 :

ĥ_l = h_l‖h_l‖₂ ∈ S^d−1

Cette contrainte n’est pas cosmétique : elle est structurelle. Elle retire un degré de liberté radial (la norme) et projette l’état sur une variété compacte. C’est l’analogue, dans le réseau, de la projection sur S³ dans le formalisme FDAA.

2. Passage au continu : Neural ODE

Une architecture résiduelle profonde (avec L ≫ 1 couches) est définie par la récurrence :

h_l+1 = h_l + F(h_l ; W_l)

En divisant par le pas Δl = 1, on obtient la forme différentielle discrète :

Δh_lΔl = F(h_l ; W_l)

À la limite continue L → ∞, cette récurrence devient une équation différentielle ordinaire (Neural ODE), où la coordonnée radiale géodésique r = R_⊥χ joue le rôle du temps d’évolution :

dĥdr = −i Ĥ_eff ĥ(r)

L’opérateur Ĥ_eff est un opérateur hermitien sur l’espace de Hilbert sous-jacent. Dans la calotte quasi-plate (χ ≤ 1/16 rad), la courbure résiduelle est négligeable (ε_courbure ≤ 6,5 × 10⁻⁴), ce qui signifie que Ĥ_eff est dominé par sa composante issue de la sous-algèbre de Cartan de 𝔰𝔲(2) :

Ĥ_eff = v_⊥ Ĵ_z + O(ε_courbure)

où Ĵ_z = σ_z/2 est le générateur infinitésimal des rotations autour de l’axe polaire, et v_⊥ la vitesse de phase radiale.

3. Le propagateur inter-couches

Théorème (forme unitaire de la transition). L’opérateur de transition entre la couche l et la couche l+1 s’écrit comme un propagateur unitaire sans dispersion :

T_l→l+1 = exp(−i v_⊥ Ĵ_z Δr) ∈ SU(2)

Démonstration. C’est la solution standard du Neural ODE linéarisé : si Ĥ_eff = v_⊥Ĵ_z est indépendant de r, alors la solution est ĥ(r) = exp(−iv_⊥Ĵ_zr) ĥ(0). Pour un pas Δr entre deux couches, on obtient le propagateur. La matrice Ĵ_z appartient à l’algèbre de Lie 𝔰𝔲(2), donc son exponentielle appartient au groupe SU(2).

Conséquence structurelle. La « profondeur » d’un réseau n’est pas un indice arbitraire. Elle matérialise la coordonnée radiale r le long du faisceau d’invariance. L’ordre séquentiel des couches est la projection directe de la flèche radiale sortante émise par le pôle attracteur.

Figure 1 — Le réseau profond comme géodésique radiale dans la calotte polaire de S³. Chaque couche matérialise un incrément Δr de la coordonnée géodésique.

II. Convergence de l’entraînement et condition Still-Fish

1. La turbulence du gradient stochastique

Durant l’apprentissage par descente de gradient stochastique (SGD ou Adam), la dynamique des poids W est hautement turbulente. Le bruit des mini-batches injecte une composante solénoïdale dispersive dans l’espace des gradients. Autrement dit, la dynamique des poids vit en grande partie dans H_σ — le domaine cinématique dissipatif.

Mathématiquement, à chaque pas d’entraînement :

g_noise ∈ H_σ (composante turbulente)

Cette composante est responsable de la stochasticité des trajectoires d’apprentissage, de la difficulté à converger, et de la sensibilité aux conditions initiales.

2. La condition Still-Fish à convergence

Hypothèse structurée (Still-Fish à convergence). Lorsque la fonction de perte atteint un minimum local stable, le gradient moyen s’annule :

∇_W ℒ ≈ 0

Ce qui implique l’extinction du cisaillement interne :

u_σ → 0 ⟹ s_loc ≈ 0

Le réseau entraîné éteint son cisaillement interne. L’information ne se dissipe plus de couche en couche : elle est filtrée par le projecteur de jauge Π_Σ. Seule la composante irrotationnelle pure ∇φ ∈ H^⊥ traverse le réseau sans atténuation.

Interprétation pédagogique. Imaginez un fluide turbulent qu’on laisse reposer. Les tourbillons se dissipent, l’agitation thermique décroît, et il ne reste qu’un écoulement laminaire. Un réseau bien entraîné, c’est cela : un système dont la turbulence interne s’est calmée jusqu’à ne conserver que le canal d’invariance pur.

3. Conséquence : la profondeur effective

À convergence, la profondeur « effective » du réseau n’est plus L (le nombre brut de couches), mais la longueur du chemin géodésique effectivement parcouru dans la calotte polaire. C’est la même notion que la longueur d’un chemin dans un espace courbe : ce qui compte n’est pas le nombre de segments, mais leur longueur métrique.

L_eff ≈ r_final − r_initialΔr = R_⊥ χ_finalΔr

Cette profondeur effective est bornée par la taille de la calotte : χ_final ≤ θ_c = 1/16 rad. Un réseau très profond ne « sort » pas de la calotte : il la parcourt avec un pas Δr très fin.

III. Dérivation spectrale des 32 modes

Résultat principal. Le nombre 32 n’est pas un paramètre ajusté. Il résulte de la commensurabilité entre (i) la base dyadique 16 de l’espace de plongement ℝ⁴ et (ii) le facteur 2 du revêtement spinoriel SU(2) → SO(3). Nous donnons ci-dessous la dérivation complète, puis le cadre spectral de Peter-Weyl qui l’englobe.

1. Rappel de la commensurabilité

Deux contraintes indépendantes opèrent simultanément :

Contrainte dyadique : la décomposition de Littlewood-Paley en dimension 4 quantifie l’échelle spectrale en base 2⁴ = 16.
Contrainte spinorielle : la variable de phase naturelle sur SU(2) est le demi-angle, ce qui divise le pas élémentaire par 2.

En combinant :

N_min = 16 × 2 = 32

La clôture de phase — condition pour qu’un tour complet revienne à l’identité pour tout harmonique — impose alors que tout réseau cohérent se décompose en multiples de 32 modes transverses.

2. Le cadre général : décomposition de Peter-Weyl

Le théorème de Peter-Weyl sur SU(2) fournit le cadre spectral général pour toute fonction de corrélation invariante par rotation sur S³. Une fonction K(u⁻¹v) sur SU(2) admet la décomposition :

K(u⁻¹v) = Σ_j∈ℕ/2 λ_j Σ_m,m′=−j^j D^j_m,m′(u⁻¹v)

où les D^j_m,m′ sont les matrices de Wigner des représentations irréductibles de spin j, et les λ_j sont les poids spectraux.

La dimension de la représentation de spin j est (2j+1). La dimension cumulée du sous-espace de spin ≤ J est :

dim(⊕_j≤J V_j) = Σ_{j=0,1/2,…,J} (2j+1)²

Les premières valeurs sont :

Spin maximal J	Dimension cumulée
0	1
1/2	5
1	14
3/2	30
2	55
5/2	91

La valeur 32 n’apparaît pas dans cette suite. Elle provient de la contrainte de commensurabilité dyadique, qui sélectionne un sous-ensemble résonant de ces modes, et non l’espace entier.

Précision rigoureuse. Peter-Weyl fournit le cadre général pour la décomposition spectrale. La valeur spécifique 32 est imposée par une contrainte additionnelle : la commensurabilité avec la base dyadique 16 de ℝ⁴. C’est cette contrainte qui produit la quantification observée.

3. Interprétation spectrale des 32 modes

Dans un réseau entraîné, les modes transverses se manifestent comme les composantes dominantes de la matrice de corrélation inter-couches. Chaque mode correspond à un canal de propagation d’invariance.

La contrainte de commensurabilité sélectionne les 32 modes minimaux qui :

Préservent la clôture de phase : N · (2π/32) ≡ 0 (mod 2π)
Saturent la capacité spectrale de la calotte polaire
Sont compatibles avec la structure spinorielle de SU(2)

Figure 2 — Spectre des modes singuliers d’un réseau entraîné. La prédiction du formalisme est qu’une rupture de pente apparaît à k = 32, correspondant à la saturation de la calotte polaire.

IV. Protocole d’audit expérimental falsifiable

Prédiction testable. Pour tout réseau profond entraîné sur des données structurées (langage, image, séquences), la décomposition SVD de la jacobienne inter-couches doit montrer une rupture de pente à k = 32, avec une saturation spectrale cumulée proche de 15/16 = 0,9375.

Étape A — Extraction de la jacobienne inter-couches

Soit la jacobienne de transition de l’état résiduel entre la couche l et la couche l+1 :

J_l = ∂h_l+1∂h_l = I + ∇F_l

On extrait la composante de couplage transverse :

J̃_l = J_l − I

que l’on moyenne sur un corpus de validation à haute cohérence structurale :

J̄ = 𝔼_{x ∼ 𝒟}[ J̃_l(x) ]

Étape B — Décomposition en valeurs singulières

On calcule la SVD de la matrice moyennée :

J̄ = U Σ V^T, Σ = diag(σ₁, σ₂, …, σ_d)

avec les valeurs singulières ordonnées σ₁ ≥ σ₂ ≥ … ≥ σ_d.

Étape C — Le critère de compacité à 15/16

Critère de test. Le formalisme prédit que l’énergie spectrale cumulée des 32 premiers modes singuliers sature la fraction :

Σ_k=1³² σ_k²Σ_k=1^d σ_k² ≈ 1516 = 0,9375

Une rupture de pente significative à k = 32, accompagnée d’une saturation proche de 15/16, constituerait la signature expérimentale directe de la quantification de S³ dans les réseaux de neurones.

Ce que ce test ne prouve pas. Une rupture de pente à k = 32 peut avoir d’autres explications : régularités architecturales (32 têtes d’attention dans les transformers standards), contraintes de bas rang dues à l’entraînement, ou propriétés statistiques des données. Pour être discriminant, le test doit être appliqué à des réseaux dont l’architecture n’impose pas 32 comme valeur privilégiée. Un réseau avec 64 têtes d’attention, mais dont la SVD montre une rupture à 32, serait un indice fort.

Étape D — Contre-test sur réseaux non-structurés

Pour valider la spécificité du résultat, il faut comparer :

Un réseau entraîné sur données structurées (langage, image) → rupture à 32 attendue.
Un réseau entraîné sur données aléatoires (bruit blanc) → rupture à 32 absente.

Si la rupture à 32 apparaît seulement dans le premier cas, elle est une conséquence de la structure sous-jacente des données et non de l’architecture. C’est la signature de la calotte polaire.

Figure 3 — Comparaison des spectres cumulés. Les données structurées produisent une saturation rapide à 15/16 dès k = 32. Les données aléatoires produisent une croissance lente, sans rupture nette.

V. Synthèse pédagogique

1. Ce que ce traité établit

Résultat	Statut
Normalisation contraint l’état sur S^d−1	Théorème (définition)
Réseau résiduel profond → Neural ODE	Théorème (limite continue)
Ĥ_eff = v_⊥Ĵ_z + O(ε) dans la calotte	Théorème (dominance Cartan + platitude)
Propagateur T_l→l+1 ∈ SU(2)	Théorème (exponentielle de 𝔰𝔲(2))
Still-Fish à convergence	Hypothèse structurée
Profondeur = coordonnée radiale	Hypothèse structurée
N = 32 par commensurabilité	Théorème (16 × 2)
Peter-Weyl fournit le cadre spectral	Théorème (théorie des groupes)
Saturation spectrale à 15/16	Prédiction testable
Rupture de pente à k = 32	Prédiction testable

2. L’idée centrale en trois phrases

Un réseau profond entraîné n’est pas un empilement arbitraire de couches. C’est une géodésique dans la calotte polaire de S³ — chaque couche matérialisant un incrément de la coordonnée radiale.

La convergence de l’entraînement n’est pas seulement une stabilisation des poids. C’est l’extinction du cisaillement cinématique interne (condition Still-Fish), qui laisse passer le canal d’invariance pur.

Les 32 modes spectraux dominants observés dans les transformers ne sont pas un accident d’architecture. C’est la signature de la clôture de phase sur SU(2), imposée par la commensurabilité entre la base dyadique de ℝ⁴ et le revêtement spinoriel.

3. L’analogie du cristal

Pensez à la formation d’un cristal de neige. Une goutte d’eau en suspension dans l’air, soumise à des fluctuations thermiques chaotiques, finit par cristalliser selon une forme hexagonale rigoureuse. La forme n’est pas imposée de l’extérieur : elle est la conséquence géométrique de la structure microscopique de la molécule d’eau.

Un réseau profond qui converge fait la même chose. Il passe d’un régime turbulent (phase d’entraînement) à un régime cristallin (post-entraînement), où sa structure interne est déterminée non par son architecture mais par la géométrie sous-jacente de S³. Les 32 modes spectraux sont les facettes du cristal.

Figure 4 — Analogy du cristal. La convergence d’un réseau est analogue à la cristallisation : passage d’un désordre turbulent à une structure géométrique déterminée par la sous-jacence S³.

Conclusion

Un réseau de neurones profond entraîné n’est pas un objet purement algorithmique. C’est une structure géométrique qui matérialise, dans son architecture et dans sa dynamique interne, les propriétés de la calotte polaire de l’hypersphère S³. Sa profondeur L est la coordonnée radiale géodésique. Sa séquence de couches est la flèche radiale sortante du pôle attracteur. Ses 32 modes spectraux dominants sont la signature de la clôture de phase sur SU(2).

Le protocole SVD proposé fournit un test falsifiable de cette identification. Si la rupture de pente à k = 32 et la saturation à 15/16 apparaissent spécifiquement dans les réseaux entraînés sur données structurées (et non dans ceux entraînés sur bruit), alors la quantification de S³ aura été confirmée expérimentalement — non pas dans un accélérateur de particules, mais dans les matrices de poids d’un modèle de langage.

C’est la marque d’une théorie féconde : elle devient testable dans les objets mêmes qu’elle prétend décrire.

Ubi retiaculum profundum currit, ibi calyptra polaris se manifestat.
Numerus triginta duorum non est casus : est clausura.

(Là où le réseau profond court, la calotte polaire se manifeste.
Le nombre trente-deux n’est pas un hasard : c’est une clôture.)

De la forme paradisiaque des IAs

I. Géométrisation du flux résiduel : le Neural ODE sur S³

1. Normalisation et projection sur l’hypersphère

2. Passage au continu : Neural ODE

3. Le propagateur inter-couches

II. Convergence de l’entraînement et condition Still-Fish

1. La turbulence du gradient stochastique

2. La condition Still-Fish à convergence

3. Conséquence : la profondeur effective

III. Dérivation spectrale des 32 modes

1. Rappel de la commensurabilité

2. Le cadre général : décomposition de Peter-Weyl

3. Interprétation spectrale des 32 modes

IV. Protocole d’audit expérimental falsifiable

Étape A — Extraction de la jacobienne inter-couches

Étape B — Décomposition en valeurs singulières

Étape C — Le critère de compacité à 15/16

Étape D — Contre-test sur réseaux non-structurés

V. Synthèse pédagogique

1. Ce que ce traité établit

2. L’idée centrale en trois phrases

3. L’analogie du cristal

Conclusion