Vidéo-montages compromettantes, photos trafiquées… Quand l’IA aggrave le harcèlement scolaire

Le "Sommet pour l'action sur l'intelligence artificielle" se poursuit ce mardi à Paris. Et en éducation, les enjeux sont forts. Car l’IA est à la fois un extraordinaire outil d’apprentissage, mais aussi un danger, lorsque son usage n’est pas maîtrisé. La ministre Elisabeth Borne a d’ailleurs annoncé une nouvelle formation à destination des professeurs et des élèves à partir de la rentrée 2025.

En ce qui concerne le harcèlement scolaire, l’intelligence artificielle inquiète les établissements. Des vidéos-montages compromettantes ou des photos trafiquées, partagées sur les réseaux sociaux, peuvent aggraver les tensions entre jeunes. 

Cyberharcèlement et manipulations d’images 

Au lycée Marcelin Berthelot, dans le Val-de-Marne, personnel et élèves sont sensibilisés au harcèlement scolaire, par le biais de l’association "Faire face au harcèlement” co-présidée par Gabriel Attal, Béatrice Le Blay et Elian Potier.

Au programme des discussions, à l’occasion d’une intervention de l’ancien ministre : les nouvelles formes de cyberharcèlement scolaire… Car ces moqueries, qui débutent au détour d’un couloir, se poursuivent souvent en dehors du lycée, sur internet. 

Aurèle, 16 ans, confie que certains de ses amis ont été victimes, l’an dernier, de cyberharcèlement sur les réseaux sociaux. "Des photos de deux personnes qui s'aimaient ont circulé, alors que c'étaient des choses intimes, qui n'ont rien à faire sur Internet", raconte-t-il. "Mais même si ça a été un peu grave sur le moment, ça a été réglé rapidement", rassure-t-il. 

"Deepfakes"

Parfois, s’ils ne sont pas vite supprimés, la diffusion de ces contenus peut prendre de l’ampleur. Des montage-photos ou montage-vidéos sophistiqués peuvent alors être générés à l’aide de l’intelligence artificielle. Ces "deepfakes" inquiètent Oumar Dembélé, conseiller principal d’éducation. 

"Cela se passe souvent sur Snapchat", explique-t-il. "On a eu des montages-photos où des élèves ont été mis en scène dans des situations gênantes, avec par exemple une tête de mouton qui remplace une tête d'élève", se souvient Oumar. 

"Pour stopper ce genre de problème, on reçoit les personnes concernées, et les élèves finissent par avouer", poursuit-il. "Ça peut prendre du temps, mais on essaye en tout cas de savoir ce qui s'est passé au départ". 

"C'est des outils qu'on utilise tous mais on ne sait pas comment ils fonctionnent"

Massilya, en Terminale, prend ce sujet très au sérieux. Elle fait partie du comité anti-harcèlement de son lycée, créé pour régler les situations de conflits avant qu’ils ne dégénèrent. 

"Avec l’intelligence artificielle, la limite entre faire rire les autres, et faire du mal à la personne qui est touchée, est toujours un peu floue… En fait, c'est des outils qu'on utilise tous mais concrètement, comprendre la manière dont ils fonctionnent vraiment et le danger qu’ils représentent, c’est quelque chose qui n’est absolument pas acquis pour tout le monde". 

Pour retirer tout contenu haineux en ligne, une règle est à connaître : composer le 3018, qui accompagne gratuitement tout jeune victime de cyberharcèlement.