Qu’est-ce qu’Agent Smartness
Agent Smartness est une application de la barre de menus macOS qui mesure dans la durée Codex d’OpenAI et le Claude Code que vous avez installé — avec vos propres comptes et votre propre quota — et surveille les changements.
- Elle mesure la difficulté que votre agent parvient encore à traiter, et non un taux de réussite.
- L’historique des mesures reste sur votre Mac. Rien n’est transmis au développeur.
- Elle ne classe pas Codex face à Claude Code. La seule comparaison qui compte oppose un agent à ses propres mesures antérieures.
Repères — Test séquentiel : méthode statistique qui met à jour son verdict à mesure que les observations arrivent, sans attendre un nombre de résultats fixé à l’avance. Consommable : achat intégré qui ne débloque rien et peut être renouvelé.
Ce qu’elle fait
- Mesurer la difficulté encore accessible — chaque question devient plus difficile lorsque l’agent répond juste, et les questions suivantes restent proches du point où il échoue. Le taux de réussite se maintient donc autour de la moitié, et ce qui évolue, c’est jusqu’où l’agent peut aller. Avec des questions fixes, les agents actuels répondent presque toujours correctement : Codex a obtenu la note maximale lors de nos 30 mesures sur 30, ce qui consomme des tokens sans rien mesurer.
- Deux types de questions — compter les occurrences d’une séquence de deux caractères dans une longue chaîne, et multiplier exactement deux grands entiers. Chacune n’admet qu’une seule réponse, et la correction a lieu sur votre Mac : aucun autre modèle n’est sollicité pour juger.
- Nombre de caractères parcourus au comptage, nombre de chiffres multipliés — affichés avec la plage dans laquelle l’estimation les situe. Cette plage se resserre à mesure que les mesures s’accumulent.
- Détection des changements — vous êtes averti lorsque l’agent commence à échouer à un niveau de difficulté qu’il maîtrisait. Un test séquentiel tranche dès que les éléments suffisent, sans attendre une fenêtre fixe.
- Valeur et format corrigés séparément — détailler le raisonnement n’est pas une erreur ; seules les questions portant sur le format exigent une correspondance exacte.
- Tâche agentique (facultative, Claude Code uniquement) — une fois par jour, une petite tâche en lecture seule dans un dossier temporaire créé par Agent Smartness lui-même. Codex ne prend pas encore en charge cet axe.
- Pannes distinguées des baisses de performance — délais dépassés, incidents du fournisseur et quota épuisé sont consignés à part et ne sont jamais comptés comme un zéro.
- Réponses manquées conservées sur votre Mac — avec la réponse attendue et celle de l’agent, pour que vous puissiez juger vous-même de la correction.
- Consommation de tokens — agrège le nombre de tokens que vos propres Claude Code et Codex enregistrent déjà pour leurs sessions. Le contenu des conversations n’est jamais lu.
- Mode démo — données synthétiques, aucune connexion réseau, aucun compte. Essayez le tableau de bord complet avant de connecter quoi que ce soit.
- Et aussi — historique et diagnostics exportables en JSON, état affiché dans la barre de menus, interface en japonais et en anglais, raccourcis clavier et étiquettes VoiceOver.
Comment lire les scores
Les scores sont relatifs à la référence propre à chaque agent, constituée au fil du temps. Agent Smartness ne classe pas Codex face à Claude Code et n’affirme pas que l’un serait « meilleur » que l’autre. La comparaison qui compte oppose un agent à ses propres mesures antérieures.
Tarifs
Agent Smartness est gratuit et toutes ses fonctionnalités sont accessibles à tous. Un pourboire « Café » facultatif (achat intégré consommable) est proposé à qui souhaite soutenir le développement, mais il ne débloque rien.
Confidentialité
Agent Smartness n’effectue aucune analyse d’usage et ne transmet rien à son développeur. L’historique des mesures est enregistré dans une base de données SQLite locale, sur votre Mac.
Lors d’une mesure, la seule chose envoyée au fournisseur que vous avez choisi (OpenAI ou Anthropic) est l’énoncé de l’exercice généré par Agent Smartness — pour la tâche agentique, les petits fichiers qu’il crée également. Votre code source, vos fichiers et vos identifiants ne sont jamais transmis.
Pour le détail complet, consultez la politique de confidentialité.
Configuration requise
- Système : macOS 14 Sonoma ou version ultérieure
- Comptes : votre propre compte OpenAI (Codex / ChatGPT) et/ou votre propre installation de Claude Code avec son abonnement. Aucun des deux n’est nécessaire pour essayer le mode démo.
- Quota : les mesures consomment votre propre quota.
- Langues de l’interface : japonais / anglais
Nous contacter
Pour toute question ou demande concernant Agent Smartness, utilisez le formulaire de contact.
Absence d’affiliation
Agent Smartness n’est ni affiliée à OpenAI ou Anthropic, ni approuvée ou parrainée par eux. Les marques citées appartiennent à leurs détenteurs respectifs.