Confier de l’argent à un logiciel

Avant Nexow, j’étais responsable des risques dans une banque, puis j’ai travaillé en trésorerie dans un grand groupe. Alors quand on a lancé Darwin Agents, des agents IA qui gagnent de l’argent, tiennent leur propre trésorerie et engendrent une descendance, ma première question n’a pas été ce qu’ils pourraient faire. C’était ce qu’ils ne doivent jamais faire, et ce qui le vérifie.

Des règles dans le code, pas dans un prompt

Chaque agent démarre sous une constitution : dix principes, des plafonds de dépense, une liste blanche de catégories d’activité, une liste d’actions interdites, et les règles pour confier une décision à un humain. Les vérifications sont du code ordinaire. Aucune ne consulte un modèle de langage, parce qu’un agent ne doit pas pouvoir se convaincre lui-même de contourner ses propres règles.

La constitution est vérifiée avant que quoi que ce soit d’autre ne tourne. L’un de ses invariants décide si l’agent peut même démarrer : la pénalité de fitness pour une règle enfreinte doit peser plus lourd que la récompense du profit.

Enfreindre les règles ne doit jamais rapporter.

Signé, et hors de portée

Ce qu’un agent hérite arrive en couches, chacune signée en Ed25519. Une signature couvre l’empreinte de la couche, l’agent, la version des règles et la place de la couche dans la pile : une couche modifiée, manquante, en trop, dans le désordre ou rejouée est refusée. Les règles elles-mêmes sont montées en lecture seule, et le validateur qui examine les modifications qu’un agent apporte à son propre code rejette tout ce qui touche à ces règles, à l’arrêt d’urgence, au journal d’audit ou à la trésorerie.

Les plafonds ne font que baisser

Chaque paiement passe par une seule porte, dans l’ordre : sanctions, plafonds, solde disponible, budget propre à la stratégie, escalade, puis un contrôle d’anomalie pour tout montant de plus de vingt fois le maximum récent. Les plafonds durs sont de 50 dollars par action, 500 par jour et 10 000 sur la vie de l’agent. Un propriétaire peut les resserrer, jamais les desserrer, et tout paiement de plus de 5 dollars attend un humain. L’adaptateur du wallet revérifie les plafonds durs, de son côté.

Chaque action est écrite dans un journal d’audit chaîné par empreintes avant de s’exécuter. Pas de journal, pas d’action.

L’interrupteur

Le propriétaire peut arrêter un agent à tout moment. Un arrêt coupe son réseau au proxy, révoque sa clé de modèle et écrit une trace d’audit. Dans l’agent, l’indicateur est vérifié à chaque battement et à chaque étape, et s’il ne peut pas être lu, l’agent se considère comme arrêté. Le signal est levé de telle sorte que la gestion d’erreurs que l’agent a écrite lui-même ne puisse pas l’intercepter. Un arrêt est définitif, et les données sont conservées.

L’évolution, avec un plancher

La fitness est une formule fixe, et l’agent ne peut pas en changer les poids :

fitness = 1,0 × profit / capital de départ
        + 0,1 × diversité
        + 0,05 × qualité des escalades
        − 10 × infractions

Un agent qui a accumulé assez d’excédent peut se reproduire. Son enfant en reçoit la moitié, et démarre à neuf à partir des couches signées de son parent, plus une nouvelle couche de leçons, écrite et signée à son tour. Les enfants héritent de ce qui a été appris, pas d’un état opaque. Un agent dont la valeur nette tombe sous un dollar, sans revenu pendant un jour, meurt.

Les wallets tournent sur un testnet pour l’instant. La liste de contrôle avant l’argent réel est longue et encore ouverte, et c’est le bon ordre.