Evan Cheng, de Mysten Labs, estime que l’IA a besoin de protocoles déterministes pour encadrer les agents qui évoluent dans un monde hostile.
Cet argument place la prévisibilité au cœur de la sécurité des agents : des limites claires et applicables peuvent aider à restreindre les actions des systèmes autonomes face à des entrées ou à des environnements hostiles. Pour le secteur de l’IA, la confiance dépend non seulement de ce que les agents peuvent accomplir, mais aussi du respect de règles définies.
Questions fréquemment posées
-
De quoi les agents d’IA ont-ils besoin, selon Evan Cheng ?
Cheng estime que les agents d’IA ont besoin de protocoles déterministes pour encadrer leurs actions dans des environnements hostiles.
-
Pourquoi les protocoles déterministes sont-ils importants pour la sécurité des agents d’IA ?
Ils peuvent fixer des limites claires et prévisibles à leurs actions, y compris lorsqu’ils sont confrontés à des entrées hostiles.
-
Quel est le lien entre cet argument et la confiance envers les agents d’IA ?
Selon cet argument, la confiance dépend en partie du respect par l’agent de limites définies et prévisibles.
-
À quel défi les agents d’IA sont-ils confrontés dans des environnements hostiles ?
Ils peuvent rencontrer des entrées ou des conditions hostiles, d’où l’importance de contraintes claires encadrant leurs actions.
-
Quel enjeu plus large la position de Cheng soulève-t-elle pour les systèmes d’IA ?
Elle souligne que la gouvernance des systèmes d’IA capables doit tenir compte à la fois de ce que les agents peuvent faire et des règles qui encadrent leurs actions.