Brainrot or Not

Une question venue du montage

Est-ce qu’un modèle pourrait m’aider à regarder une vidéo autrement ? J’avais envie de repérer des passages qui mériteraient peut-être un autre montage, puis de comparer plusieurs versions. Brainrot or Not est né de cette question et de mon envie de tester moi-même de nouvelles recherches.

J’ai construit une interface expérimentale autour d’un modèle préentraîné de réponse cérébrale, avec plusieurs entrées médias, des visualisations et mes propres scores de synthèse. Le nom est un peu provocateur ; la question derrière reste de savoir ce que je peux réellement tirer de ces résultats.

La recherche sur laquelle je m’appuie

TRIBE v2 est le modèle multimodal de Meta qui prédit des réponses cérébrales en IRMf à partir de vidéos, de sons et de langage. Meta décrit un entraînement sur des enregistrements de plus de 700 volontaires. Les outils d’inférence publiés prédisent les réponses d’un sujet moyen sur une surface corticale ; ils ne mesurent pas la personne devant mon interface.

Cette recherche fournit le modèle préentraîné. Mon travail porte sur l’application autour : préparer les entrées, appeler le modèle et explorer la présentation de ses sorties. L’animation ci-dessous explique les travaux de Meta ; ce n’est pas une capture de mon prototype.

Rendre le modèle explorable

L’interface Gradio propose trois entrées : vidéo, texte et image. Le code de préparation découpe les vidéos et peut transformer une image fixe en représentation vidéo pour construire les événements attendus par le modèle.

L’application charge facebook/tribev2, construit ces événements puis appelle son interface de prédiction. Les outils de Nilearn permettent ensuite de représenter les tableaux obtenus sur des surfaces cérébrales et des atlas. J’ai séparé ces étapes pour pouvoir examiner la préparation des médias, la prédiction et l’interprétation.

• Python
• Gradio
• TRIBE v2
• Nilearn
• Préparation des médias

Résumer une sortie difficile à lire

Une carte cérébrale laisse beaucoup de place à l’interprétation. J’ai essayé quatre groupes de régions choisis manuellement, nommés attention, émotion, mémoire et récompense, pour faciliter l’exploration des sorties dans l’interface.

Pour chaque groupe, le calcul combine 40 % de l’activation absolue moyenne et 60 % du pic d’activation absolue, puis normalise le résultat par rapport aux statistiques du cerveau entier et le limite à une échelle de 0 à 100. Un score global rassemble les quatre groupes avec des poids respectifs de 30 %, 30 %, 20 % et 20 %.

Types d’entrée dans l’interface

3

Groupes régionaux personnalisés

4

Échelle d’affichage de l’application

0–100

Ce qui est construit et ce qui reste ouvert

Le code examiné contient la préparation des médias, l’intégration du modèle préentraîné, les outils de visualisation et le calcul des scores. Il me donne une base concrète pour étudier l’idée au-delà d’un service imaginé.

Je n’ai pas validé ces scores personnalisés comme mesures de l’attention, du plaisir ou de la rétention. Ils résument une activité prédite ; ce ne sont pas des mesures prises chez des spectateurs qui regardent l’extrait. Je n’ai ni mené d’étude auprès de spectateurs ni entraîné un nouveau modèle de neurosciences pour ce projet.

La prochaine question : est-ce utile au montage ?

La suite utile serait de comparer les sorties du modèle sur plusieurs versions contrôlées d’un même extrait, puis de vérifier si les différences correspondent à des observations indépendantes auprès de spectateurs. Cela aiderait à distinguer une visualisation intéressante d’un outil sur lequel appuyer une décision de montage.

Pour le moment, le projet relie deux choses que j’aime : explorer un sujet technique que je connais peu et chercher ce qu’il pourrait apporter à un travail créatif. La question encore ouverte fait partie de l’expérience.