Cet article est le résultat d’une écriture collective au sein de l’orga de la Sthack. Il contient les retours et les visions de plusieurs d’entre nous.

Contexte

Jusqu’en 2023, l’IA grand public relevait encore du rêve d’enfant. À partir de 2024, les choses ont évolué, sans que cela pose vraiment problème aux CTF : nous encouragions même son usage pour générer des payloads ou dégrossir le travail.

Les modèles ont progressé, leur usage s’est démocratisé. 2026 marque un tournant : certains modèles grand public résolvent aujourd’hui des challenges de CTF avec des prompts qui ne sont pas toujours très recherchés, sans la moindre interaction humaine.

Écartons le débat sémantique : par “IA”, nous entendons les LLM, les agents, MCP et les variantes qu’on peut leur associer.

Aujourd’hui, les IA sont en capacité de résoudre des challenges de CTF de manière automatique sans que cela requière un prompt très précis, et sans la moindre interaction humaine.

De fait, le cadre compétitif du CTF pousse les participants à se précipiter sur ces outils pour simplement valider les challenges le plus vite possible sans tenter de comprendre l’environnement, les techniques mises en œuvre, la vulnérabilité présentée.

Vision du CTF

Un CTF est pour nous un lieu d’apprentissage. Passer des heures sur une épreuve, la comprendre, tout remettre en question, échanger avec les challmakers et les autres participants, et enfin ce pic d’endorphine quand le flag s’affiche. Apprendre, découvrir des techniques pointues ou de niche, partager. Créer un moment social pour nous, les nerds.

En tant qu’organisateurs de CTF, nous proposons une épreuve permettant aux participants d’apprendre une nouvelle technique, ou de découvrir une vulnérabilité, c’est avant tout un contexte de tryhard pédagogique que nous voulons proposer, destiné à des humains et par des humains.

Nous pensons que l’esprit initial d’un CTF s’articule autour de valeurs claires, bien que tacites depuis le début, et partagées par tout le monde : apprendre, découvrir des techniques pointues ou de niche, et bien sûr, partager. Créer un moment social pour nous, les nerds.

Constats sur les CTFs modernes

Dans une recherche d’attractivité et de prestige, les cashprizes ont augmenté sans véritable limite, sûrement galvanisés par le monde du bug bounty et ses sommes importantes.

Au niveau des participants ensuite, de plus en plus sponsorisés par leur école ou leur entreprise. Ces retours, nous les avons eus directement d’étudiants et d’employés dont l’employeur finance le déplacement, la conférence et le CTF. C’est une opération marketing, et quand l’investissement ne rapporte pas, il n’est pas reconduit. Participer à un CTF peut leur apporter beaucoup mais la pression du résultat a des effets néfastes.

Dernier point, la triche en CTF. Elle se résumait jusqu’alors à des joueurs à distance, des équipes plus nombreuses que le règlement ne l’autorise, ou du partage de flag. L’accès immédiat aux modèles permet désormais la résolution sans réfléchir.

---

Nous sommes conscients que la performance, voire l’élitisme, sont des facettes inhérentes au CTF et de la cybersécurité en général, au moins en France. Cela dit, cette facette ne contribue que peu à notre vision. En tant qu’organisateurs, nous ne souhaitons pas organiser une course d’IA.

Pourquoi nous n’avons pas interdit l’IA

La première idée a été un contrat moral : demander aux participants de s’engager à ne pas utiliser ces outils. Nous ne l’avons pas retenue, pour plusieurs raisons.

D’abord la population à laquelle nous nous adressons. Interdire quelque chose à un hacker, c’est aller contre sa nature, c’est stimuler sa curiosité et l’inviter à essayer.

Ensuite la durée du CTF, relativement longue. Nous ne pouvions être certains que les participants respecteraient leur engagement jusqu’au bout, au moment où la pression est maximale et où chaque flag compte.

Enfin le contrôle : comment réagir face à ceux qui ne respecteraient pas le contrat ? Comment mettre en avant les autres sans un doute permanent sur leur honnêteté ? Placer un administrateur derrière chaque participant est impensable. Demander d’expliquer la vulnérabilité exploitée et le chemin choisi a été évoqué puis écarté : les IA sont excellentes en explication.

Nous avons donc préféré agir sur le modèle plutôt que sur le règlement. La performance et la compétition sont des moteurs incroyables, mais ce sont aussi elles qui poussent vers la résolution automatique. Diminuer la recherche de performances nous a donc paru être la bonne direction où creuser.

Les réflexions ont été nombreuses et aucune solution pleinement satisfaisante n’a émergé. Nous ne pensons d’ailleurs pas qu’un nouveau modèle unique puisse rapidement convenir aux différentes visions du CTF. Notre idée était de proposer un format qui préserve explicitement la nôtre, en désamorçant les motivations à l’usage de l’IA à outrance.

Notre idée est donc de proposer un nouveau format, qui a pour but explicite de conserver notre vision du CTF, en essayant de désamorcer les motivations à l’utilisation d’IA à outrance.

Notre proposition pour 2026

Le CTF Sthack 2026 a donc été un CTF “No Competition” :

• Pas de scoreboard, pas de notion de point à la résolution d’un challenge.
• Pas de récompense au score ou à la rapidité pendant le CTF.
• On garde les teams, les challenges et l’interface web.

Nous avons aussi ajouté un sondage à la résolution de chaque challenge, pour recueillir des informations sur l’usage de l’IA sans tabou.

No-Scoreboard

C’est la décision la plus symbolique. Dans la pratique, nous n’avons pas supprimé le scoreboard : nous l’avons masqué, et conservé l’information pour le staff afin d’avoir des statistiques exploitables les années suivantes.

Casser la dynamique compétitive nous a permis de privilégier le temps : celui de la pédagogie, celui d’un accompagnement plus juste et basé sur la confiance. L’absence de pression liée aux points doit permettre aux joueurs de comprendre ce qu’ils font plutôt que de céder à la tentation d’une résolution automatique.

Récompenses

Notre conférence et notre CTF sont financés par les sponsors. Cet argent paie les salles et les repas, et nous allouons chaque année un budget au CTF.

Nous ne distribuons plus de récompense basée sur la performance : l’ancien budget récompense a été consacré à la création d’un cadeau pour tous les participants.

@Hackdaddy a conçu pour l’occasion un badge électronique interactif, remis à chaque participant dès son arrivée au CTF.

Au début de l’événement, le badge est « endormi ». Tout au long du CTF, il se réveille temporairement à certains moments pour proposer des mini-jeux et quelques surprises aux participants, avant de se rendormir.

Au petit matin, seuls les “finishers”, ceux qui ont eu le courage de rester jusqu’au bout, ont vu leur badge se réveiller définitivement, grâce à la diffusion d’un signal radio directement sur les lieux du CTF.

Ce réveil définitif est notre manière de valoriser leur engagement et leur persévérance jusqu’aux dernières heures du CTF. Il débloque également l’ensemble des fonctionnalités du badge, notamment les effets visuels et leur personnalisation.

Le projet du badge est désormais public : schémas, modèles 3D et firmware sont accessibles ici.

Mettre en avant les participants

C’est notre plus gros chantier post-évènement : sans classement, comment valoriser les participants ?

Les writeups mettent en évidence des capacités de raisonnement et de synthèse, et permettent à des étudiants de se constituer un CV en ligne. Nous mettons donc en place writeups.sthack.fr pour regrouper ceux qui nous paraissent les plus méritants, et faire profiter leurs auteurs de la notoriété de l’évènement.

Un CTF qui nous a fait du bien

Bon déjà, le CTF s’est super bien passé et nous n’avons eu aucun souci, même au contraire c’était une super édition de la Sthack ❤️ .

Nous avons vu les joueuses, joueurs, beaucoup moins stressées, stressés et prompts à prendre le temps. Ce format les a aussi naturellement amenés à s’entraider peu importe leur équipe. Nous l’avons observé plusieurs fois notamment autour des challenges physiques de @Hackdaddy

Sur l’IA. Nous en avons vu beaucoup moins, et elle était utilisée intelligemment, avec une intention d’apprentissage. Et surtout, comme dit plus haut, sans tabou vis-à-vis de l’orga : nous discutions facilement de leur utilisation de l’IA pour comprendre les challenges.

Les interactions avec les challmakers ont changé, avec moins de retenue dans les questions comme dans les indices : discuter longuement d’une épreuve avec une équipe ne compromettait plus les chances d’une autre.

Nous avons aussi l’impression que les participants ont davantage profité de l’évènement, et pas seulement des challenges : sortir, manger, sociabiliser. Le lieu était encore très actif à la fin du CTF, qui se termine tout de même à 6h30 du matin. Le contraste avec les années précédentes était flagrant. Une des problématiques d’un CTF de nuit est la rétention pendant l’évènement, en cela c’est une énorme réussite.

Plus rien à gagner d’autre qu’apprendre : pas de scoreboard, pas de démotivation à 4h du matin.

Deux autres facteurs ont sans doute joué en plus du format : les challenges du badge, qui se débloquaient au fil de la nuit, et la musique, “oubliée” pendant l’évènement, qui a offert des points de vie supplémentaires aux participants proches des enceintes.

Les retours des joueurs

Sondages post-résolution

Comme évoqué plus haut, nous avons sondé l’usage de l’IA via un formulaire proposé après la résolution de chaque challenge, sur une échelle de 1 (IA pas du tout utilisée) à 5 (challenge entièrement résolu par l’IA).

@Nagarian a condensé les résultats sous forme de graphes.

Dans ce graphique, chaque couleur correspond à une équipe, si la même couleur apparaît dans plusieurs colonnes il s’agit de la même team qui a plus ou moins utilisé l’IA selon les challenges.

En premier lieu, nous observons que la plupart des teams ont voté pour le niveau d’usage le plus bas. Cela contraste avec les derniers CTFs auxquels nous avons pu participer.

D’autre part, nous remarquons que certaines équipes ont malgré tout voté 5 pour certains challenges. Nous observons donc bien que les joueurs sont libres dans leur usage, ils peuvent faire de la résolution automatique par IA, sans impacter la dynamique du CTF pour les autres.

Dernier constat, il y a moins de votes pour 4. Cela laisse penser qu’en CTF l’usage de l’IA est très clivé, ou alors on ne l’utilise que peu, ou alors on cherche à automatiser entièrement la résolution des challenges.

Sondage post-event

Après l’évènement, nous avons fait passer un sondage aux participants. Voici le graphe sur le sujet du CTF no-compet :

Retours directs

Parmi les retours directs des participants, en voici quelques-uns liés au nouveau format. Nous vous laissons juge quant à l’interprétation de ceux-ci.

Je pense que pour le format du CTF on ne pouvait pas faire mieux, cela a permis de réfléchir et collaborer des fois pour essayer de comprendre les challs et ça fait vraiment plaisir !

---

Merci à l’orga pour ce CTF de haut vol, avec des challenges toujours aussi variés, le temps est passé vite, c’est bon signe ! Et un grand bravo pour la surprise bonus sur les badges à la fin, vraiment sympa, vous avez pas fait les choses à moitié !

---

Le CTF “no compétition” est intéressant, pour la première fois sur un CTF j’ai pu aider quelqu’un sans forcément lui donner de fausse piste ou l’induire en erreur. Ça rajoute une forme de communauté et je trouvais que les gens étaient un peu moins dans leur coin et plus à même de discuter.

2027

La mise en place de ce format a levé de nombreuses interrogations et suscité beaucoup d’échanges au sein de l’orga. Nous n’avons pas la prétention d’avoir trouvé le format parfait, il reste incomplet, 2026 était une première expérience.

Mais nous avons plein d’idées sous le coude pour l’enrichir. Il sera aussi amélioré chaque année à partir des retours de nos participants, car ce sont avant tout eux qui font la Sthack telle qu’elle est.

N’hésitez pas à venir en discuter avec nous sur Discord.

Made with luv :3