Claude Code Review : Anthropic commercialise son système de revue de code interne

Une flotte d’agents IA pour inspecter le code

Mais il y a une bonne raison d’utiliser ce système Code Review, selon la startup. Le code généré par les ingénieurs d’Anthropic a augmenté de 200 % en un an. De manière générale, parce qu’ils utilisent Claude Code et d’autres outils d’IA, les développeurs doivent gérer plus de code.

En ce sens, Code Review s’appuie sur plusieurs agents IA, chacun spécialisé dans la gestion d’une classe de problèmes. Ils inspectent le code automatiquement, chaque fois qu’un pull request est poussé par un développeur. Ils analysent les différences ainsi que les impacts sur le reste de la base de code. Une étape de vérification doit signaler les faux positifs avant de fournir la liste de bugs classés suivant leur sévérité (s’il faut être corrigé avant la publication, s’il s’agit d’un bug mineur ou s’il est préexistant). Un commentaire est tout de même publié lorsqu’aucun problème n’a été trouvé.

La solution utilise la fonctionnalité de mémoire automatique de la startup. Elle permet de sauvegarder le contexte et les échanges précédents. De plus, la révision peut être suivie sur smartphone, à travers la fonction Remote Control. À noter toutefois que la fonction Zero Data Retention n’est pas encore disponible : Anthropic conserve pour l’instant des traces du code analysé.

Anthropic explique qu’en interne 84 % des grands pull requests (plus de 1000 lignes de code) contenaient en moyenne 7,5 problèmes, contre 31 % des « petites » pull requests qui présentaient seulement 0,5 problème pour moins de 50 lignes de code. Le taux de faux positif serait de 1 %, assurent les ingénieurs d’Anthropic. TrueNAS, qui a pu tester la solution pour la refactorisation du chiffrement de ZFS, aurait constaté la capacité de Claude Code Review à trouver le problème dans le code adjacent. Ce qu’un humain n’aurait pas fait de manière instinctive (quoiqu’un ingénieur pourrait être habitué à ce type de raisonnement).

À l’heure actuelle, Code Review est uniquement compatible avec GitHub. Pour les clients de GitLab, il faut encore passer par un déploiement manuel du système proposé par le fournisseur. Toutefois, les fichiers Markdown « Claude.md » et « Review.md » permettent d’intégrer des instructions spécifiques aux projets et aux exigences de l’entreprise en matière de revues.

Claude Code Review coûte cher : un positionnement commercial sujet à débat

La facturation dépend du nombre de tokens consommé, indique Anthropic. La société remarque toutefois qu’il faut compter 15 à 25 dollars par revue. En clair, il s’agit d’une expérience « premium » à privilégier pour les pull resquests les plus massifs et les grands groupes. Une révision ne prendrait que 20 minutes. Aux humains de valider les résultats.

« Des outils comme celui-ci semblent des “nice to have”, plutôt qu’une couche nécessaire pour maintenir la qualité et la confiance dans le code mergé », affirme Nicholas Willard, ingénieur DevOps senior chez Capital One, en réaction à un billet d’Anthropic sur LinkedIn. « Je suis d’accord avec certains autres commentaires : le prix est un peu élevé étant donné qu’il est possible de créer quelque chose de similaire par-dessus Claude pour beaucoup moins cher ». 

Pour rappel, Anthropic a lancé il y a peu Claude Code Security, un autre outil de préversion de recherche pour le scan statique de code à la recherche de vulnérabilités. Il vise là les solutions SAST comme SonarQube, Snyk ou Codacy. Claude Code Review vise, lui, à proposer une alternative à GitHub Copilot code review.

Code Review entre dans cette catégorie d’outils pour les bugs. Or, les outils d’analyse statiques ne voient pas forcément les bugs qui ne se produisent que dans le contexte d’un système plus large, rappelle un autre internaute. Le changement d’un contrat d’API, les effets sur l’infrastructure ne sont pas forcément visibles à cette étape en amont du déploiement.

Conscient que cette solution peut rapidement devenir hors de contrôle d’un point de vue financier, Anthropic intègre des limites mensuelles, des contrôles par dépôt de code et des tableaux de bord concernant les coûts et les performances du service.

Le fournisseur de LLM a tout de même trouvé un partisan de son approche économique. « Pour une équipe qui pousse 20 pull requests par jour, cela représente 300 à 500 dollars par jour, soit 6 500 à 11 000 dollars par mois », indique Leo Bernard Xavier, leader data et IA chez EY, dans un billet de blog. « Cela paraît cher, mais un ingénieur senior qui effectue des révisions approfondies du code passe entre 30 et 60 minutes par PR complexe », poursuit-il. « À un coût total compris entre 100 et 175 dollars par heure, cela représente entre 50 et 175 dollars par révision. Code Review coûte entre 15 et 25 dollars, ne se fatigue pas, ne bâcle pas son travail à 16 heures le vendredi et détecte les erreurs dans l’ensemble du code, et pas seulement dans les lignes qu’il a pensé à vérifier ».

Et de préciser que Code Review ne remplace pas le travail d’un ingénieur, mais lui donne un coup de pouce pour se concentrer sur les problèmes qui comptent véritablement.

Anthropic indique que la moitié des revenus générés par Claude Code le sont par les entreprises, dont Salesforce, Spotify, Accenture, Netflix, Uber ou Snowflake.