Deux outils contre l'oubli catastrophique dans les modèles de langage, désormais en DAS 5.0 — plus rapide et avec un dommage mesuré négatif par rapport au protocole v3 ci-dessous. Aucun des deux ne stocke d'exemple — pas de buffer de replay, pas de rehearsal, aucun accès aux anciennes données au moment de protéger.
Les §1–§6 rapportent le protocole DAS 3.0 entièrement audité sur Qwen3 — la référence contre laquelle cette affirmation est mesurée. Le §7 retrace chaque version depuis, y compris pourquoi la v5.0 est meilleure (~2× plus rapide que la v4.0, dommage négatif), et une confirmation directionnelle sur DeepSeek, Mistral et Gemma.
Deux régimes différents, une même contrainte : aucun des deux ne garde les anciennes données.
Insertion de connaissance dans un modèle déjà entraîné, sans gradients.
Entraînement continu et séquentiel sur le modèle entier.
Cette page rapporte ce qui a été mesuré. Le protocole est décrit avec assez de détail pour être audité ou reproduit avec une autre méthode.
Ce qui a changé depuis le premier résultat publié.
Rien n'était faux dans la V1 — c'est la même garantie d'insertion exacte, encore mesurée au §3 ici, à 0,0256 nats de dommage. Ce qui est nouveau dans la V3, c'est l'échelle et l'honnêteté sur le régime le plus difficile : l'entraînement continu du modèle entier, où la garantie n'est plus bit à bit et doit être ajustée, mesurée et rapportée comme un compromis plutôt que comme un seul chiffre net.
| DAS V1 | DAS V3 (cette page) | |
|---|---|---|
| Régime testé | insertion de connaissance, 3 domaines séquentiels | entraînement continu du modèle entier (§2) et insertion sans gradient (§3) |
| Modèle(s) | Qwen2.5-3B-Instruct — une seule taille | Qwen3 0,6B / 1,7B / 8B — trois tailles, même vocabulaire |
| Chiffre phare | écart 0,000000, bit à bit | 92,0 % de l'oubli bloqué, sans coût d'apprentissage |
| Garantie de rétention | exacte, dans le régime testé | exacte au §3 ; ajustable et approximative au §2 — voir §6 |
| Coût mesuré | 137 ms/pas, 5,3× plus rapide qu'un fine-tuning complet | 0,07 s par écriture ; coût d'apprentissage ≈0 à l'échelle du modèle entier |
| Échelle testée | non — une seule taille | oui (§5) — la protection devient moins chère quand le modèle grandit |
| Limites déclarées | 3 | 8 |
Contrôlé sur trois tailles de modèle. Même vocabulaire, même corpus, même évaluation.
Métriques. dommage = variation de la log-ppl sur la tranche protégée — ce que le modèle savait déjà et que personne n'a demandé de changer. appris = ppl sur le bloc fraîchement entraîné. retenu bloc 1 = ppl du premier bloc après l'entraînement des huit, la métrique standard de backward transfer. profil = la ppl de chacun des 8 blocs à la fin.
Les comparaisons se font toujours en Pareto : dommage et apprentissage ensemble, jamais un seul axe. Le §4 explique pourquoi ce n'est pas de la coquetterie.
| Modèles | Qwen3-0.6B (d=1024), Qwen3-1.7B (d=2048), Qwen3-8B (d=4096) |
| Contrôle | les trois sont des Qwen3ForCausalLM avec un vocabulaire identique V=151936 — la taille change, le vocabulaire non |
| Corpus | Wikipédia en portugais |
| Blocs | 8 × 512 positions, séquentiels et disjoints entre eux |
| Tranche protégée | 1024 positions, disjointe de tous les blocs, jamais entraînée |
| Optimiseur | Adam |
| Précision | fp32 |
Qwen3-0.6B, les 197 couches linéaires couvertes = 100 % des 596M paramètres, 8 blocs séquentiels.
de l'oubli bloqué.
Sans coût d'apprentissage mesurable : ce que le modèle devait apprendre vaut 1,00 à tous les niveaux de protection, exactement comme sans protection.
dommage sur la tranche protégée — la connaissance que personne n'a demandé de changer
| Intensité | ppl protégée | dommage (nats) | bloqué | appris bloc 8 | retenu bloc 1 |
|---|---|---|---|---|---|
| éteint | 148,63 | +2,4927 | 0,0 % | 1,00 | 18,48 |
| basse | 15,02 | +0,2005 | 92,0 % | 1,00 | 3,16 |
| moyenne | 13,21 | +0,0725 | 97,1 % | 1,00 | 5,54 |
| haute | 12,05 | −0,0193 | 100,8 % | 1,02 | 9,31 |
base du modèle : protégée 12,29 · bloc 1 11,65
Ppl par bloc à la fin de l'entraînement. Une courbe est une rampe d'oubli ; l'autre est une ligne.
ppl par bloc · indice du bloc en abscisse
En agrégeant la tranche protégée et les huit blocs en un scalaire : 1,60 contre 5,55 pour éteint. Le modèle protégé termine bon sur tout ce qu'il a vu ; le non protégé, seulement sur ce qu'il a vu en dernier.
Il existe un point d'arrêt, et il est identifiable. En balayant six niveaux d'intensité, ce qui a été enseigné sature : à partir du niveau recommandé, relâcher davantage n'achète plus aucun apprentissage et ne coûte plus que de la capacité générale. Le taux d'échange marginal tombe de 1,32 au dernier pas utile à 0,40 au suivant, puis devient négatif — les deux derniers niveaux empirent sur les deux axes à la fois. Sous-protéger est un gaspillage, pas une économie.
| Intensité | capacité générale vs. base | matière enseignée vs. base |
|---|---|---|
| haute | −2 % | −78 % |
| moyenne | +7 % | −89 % |
| recommandée | +22 % | −91 % |
| très basse | +39 % | −91 % |
| minimale | +52 % | −91 % |
| quasi nulle | +71 % | −91 % |
Qwen3-8B. Nouvelle connaissance écrite dans le modèle sans aucun pas de gradient.
10 faits qui partagent un suffixe
5 faits réels de 2026, au format Q/R
Un paragraphe inédit de 101 tokens
La généralisation à la paraphrase est ce qui distingue ceci du par-cœur : la connaissance entre par une formulation et répond par une autre.
Le coût est prévisible avant l'écriture, et dépend de la forme de ce qu'on enseigne : un contenu qui concentre la charge sur les mêmes sorties coûte ~6× plus (+2,60 %) qu'une prose, qui la répartit (+0,44 %). La prose est le cas facile.
Auditable et réversible. On peut relire dans le modèle ce qui a été enseigné, et défaire l'écriture — exacte en fp32, ~5e-4 en bf16 à cause de l'arrondi. Bon pour la gouvernance ; mauvais pour la confidentialité, et c'est une vraie limite.
Vaut pour n'importe quelle méthode de continual learning, pas seulement celle-ci.
↑ la métrique s'améliore sans cesse — au-delà du parfait, même
↓ le modèle empire, sur exactement les mêmes lignes
Le niveau « haute » affiche un oubli négatif — un score meilleur que parfait — et c'est la pire ligne de la table : il a à peine appris, donc il n'avait rien à oublier. appris dernier bloc est aveugle pour la raison inverse : le dernier bloc est le seul à n'avoir encore subi aucune interférence. Il affiche ~1,00 toujours, par construction.
Recommandation pour qui mesure ceci : publiez le profil par bloc et la ppl protégée, séparément. Un scalaire agrégé qui additionne protégée et blocs entraînés récompense le par-cœur de son propre entraînement — dans notre cas, le bras non protégé « gagne » un agrégat naïf, avec un profil qui est une rampe d'oubli classique.
Coût d'apprentissage normalisé contre le passage non protégé du même modèle, à intensité basse.
À intensité égale, le modèle plus grand gagne sur les deux axes à la fois — moins de dommage et moins de coût. Ce n'est pas un compromis qui glisse le long d'une courbe : la courbe entière se déplace vers l'extérieur à mesure que le modèle grandit. C'est l'inverse de ce qu'on attendrait si protection et capacité se disputaient la même ressource fixe.
Réserve importante : cette section mesure un scénario restreint — une seule couche. Dans le régime du modèle entier (§2), le coût d'apprentissage disparaît complètement. N'utilisez pas ces chiffres pour dimensionner l'entraînement d'un modèle complet.
| intensité basse | moyenne | haute | |
|---|---|---|---|
| d=1024 | +0,308 | +0,571 | +1,115 |
| d=2048 | +0,203 | +0,414 | +0,820 |
| d=4096 | +0,056 | +0,135 | +0,386 |
les bases diffèrent — ppl 12,32 / 8,72 / 5,99 — donc les nats absolus ne se comparent pas entre tailles
Des séries de tests ultérieures, menées en dehors du protocole v3 audité ci-dessus, ont vérifié la même approche d'ancrage sur d'autres familles de modèles. Le pourcentage d'oubli bloqué reste dans la même fourchette à chaque fois.
La même approche d'ancrage a été exécutée sur des points de contrôle Qwen, DeepSeek, Mistral et Gemma, dans des tests distincts du protocole Qwen3 des §1–§6 ci-dessus. Dans chaque cas, le modèle a conservé ce qu'il savait déjà tout en apprenant le nouveau matériel — aucun réglage spécifique à la famille, aucun chemin de code spécifique à l'architecture.
Ce qui n'est pas encore publié ici : le protocole complet de ces quatre passages — disposition des blocs, corpus, nombre de graines — vit en dehors de ce dépôt et n'est pas reproduit avec le même niveau de détail que le balayage Qwen3 du §5. Le 92% pour Qwen ici est une mesure différente du chiffre phare de 92,0% au §2 — même ordre de grandeur, pas la même passe. Considérez toute cette section comme un résultat directionnel confirmant que la méthode n'est pas spécifique à une architecture, pas comme un benchmark audité au niveau des §2–§5.
Ce qui a changé version après version, et ce que chaque série de tests a réellement mesuré. Version actuelle : DAS 5.0.
| Version | Ce qui a changé | Résultat |
|---|---|---|
| v1 – v2 | Premières tentatives de protection et de projection post-pas | plusieurs sous-approches ont échoué aux tests — 0% de survie sous attaque maximale |
| DAS 3.0 | Sous-espace protégé + coordination entre faits | ~98% du dommage d'oubli supprimé |
| DAS 3.1 / DAS Weight | Protection pendant l'entraînement vs. restauration de l'état d'origine après | restauration après : 100% récupéré · protection pendant : échec |
| DAS 3.3 | Testée sur un modèle hybride (Qwen3.5) | ~9× moins de dommage que la référence, sans besoin de déverrouiller la tête du modèle |
| DAS 4.0 | Réparation post-entraînement via régression/KL contre un modèle professeur | erreur 10,7% (CE) → 1,7% (KL) · dommage −3% (négatif = amélioration) · QDAS 4.0 quantifiée : ~2,84× moins de VRAM |
| DAS 5.0 | Boucle fermée avec une sentinelle holdout surveillant le dommage en temps réel | ~2× plus rapide que la 4.0, dommage négatif, un bug de « plancher » corrigé |
Tests effectués au fil de ces versions, sans le mécanisme interne : rétention vs. oubli mesurés sur plusieurs domaines (une comparaison avait 63% de chevauchement de classes entre domaines — une découverte qui a invalidé un plafond de 60% apparemment bon, en fait une fuite de données) ; une attaque adversariale maximale exécutée contre la protection post-pas pour voir si elle survivait ; DAS exécuté dans un benchmark public à 4 bras de comparaison — la rétention a obtenu exactement 0 dommage mais a terminé dernière sur les autres critères du benchmark, ce qui signifie que « ne pas oublier » seul ne suffisait pas à gagner globalement ; tests de coût (4 capsules séquentielles à ~130% de coût chacune, contre des variantes fusionnées/mises en cache qui ont annulé le surcoût d'inférence) ; plusieurs graines pour chaque résultat clé ; et le taux d'apprentissage de la référence réajusté avant comparaison avec DAS, pour que l'avantage rapporté ne soit pas gonflé par une référence injuste.
Les détails du mécanisme interne sont volontairement omis — les chiffres ci-dessus indiquent ce qui a changé, pas comment.
Aucune n'est résolue, et toutes affectent la lecture des chiffres ci-dessus.
Aucun résultat n'a de barre d'erreur. Plancher de bruit mesuré : 0,022 nats — rien en dessous n'est affirmé sur cette page.
FIN et Model_Training n'ont jamais été utilisés ensemble sur le même modèle.
Mesurée seulement sur Qwen3-0.6B. Le §2 n'a pas été répété sur les modèles plus grands ; le §5 est un scénario restreint.
La perte de rétention décrite au §4 n'a aucun correctif que nous ayons testé.
Le §6 montre que DeepSeek, Mistral et Gemma se situent tous dans la même fourchette 92–97%, mais avec moins de détail de protocole que les passages Qwen3 — pas encore audité au même niveau.
Aucune comparaison encore contre EWC, LwF ou le rehearsal avec buffer. Tant que cela n'existe pas, le §2 dit « mieux que ne rien faire », pas « mieux que l'état de l'art ».
La saturation a été observée à 20 blocs dans un autre design.
Dans le régime du modèle entier, la garantie est approximative partout et exacte nulle part. Le §3 — l'insertion — est le seul endroit où elle est exacte.
DAS est intégré avec ACE (Adaptive Core Experts) — faire grandir les connaissances du modèle avec un nouveau domaine coûte une fraction de ce que ça coûtait avant.
Voir ACE →DAS est la pièce d'apprentissage continu derrière MH-AI — l'architecture d'IA que nous construisons pour un raisonnement scientifique authentique.
Découvrir MH-AI →Publié avec les chiffres qui ne le flattent pas, aussi. C'est le seuil pour appeler un résultat un résultat.