Vous pouvez maintenant essayer SAM 2, la nouvelle IA de Meta pour traiter des photos et des vidéos

La segmentation est très importante dans les systèmes de vision artificielle, car elle permet d'identifier les pixels d'une image appartenant à un objet. Cela a de nombreuses applications, comme l’analyse d’images scientifiques ou la gestion de packages. Meta vient d'annoncer le lancement du Segmenter n'importe quoi modèle 2 (SAM 2) permettant objets segmentés dans vidéos et images.

Nous avons vu ces derniers mois comment l’intelligence artificielle pointe vers la génération vidéo. Il existe plusieurs modèles qui ont montré des créations vraiment spectaculaires, même si aucun de ces modèles n'est actuellement accessible.

Si ces modèles commencent à arriver et sont accessibles à tous, nous pourrions être confrontés à un problème. Le nombre de canulars et de désinformations augmenterait, permettant de créer des vidéos réalistes qui sont en réalité fausses. Nous voyons quotidiennement comment, sans ces outils, alors qu’ils tentent de manipuler et de désinformer, avec une IA qui génère des vidéos presque parfaites, où finirons-nous ?

Meta annonce la disponibilité de son modèle SAM 2

L’une des entreprises qui investit le plus dans l’intelligence artificielle est Meta, anciennement connue sous le nom de Facebook. La société a annoncé le nouveau Segment Anything Model 2 (SAM 2). Ce nouveau modèle se caractérise par être plus précis et jusqu'à six fois plus rapide que le modèle SAM original.

La caractéristique la plus intéressante de ce modèle est qu'il prend en charge la segmentation des objets dans les vidéos et les images. Voici les principales améliorations de ce nouveau modèle SAM 2 par rapport au précédent :

  • Il améliore la segmentation vidéo interactive sur 17 ensembles de données vidéo zéro et nécessite environ trois fois moins d'interactions humaines.
  • Il est jusqu'à six fois plus rapide dans les tests de référence zéro avec 23 ensembles de données.
  • Surpasse les normes existantes de segmentation d'objets vidéo (DAVIS, MOSE, LVOS, YouTube-VOS)
  • Il offre une inférence en temps réel à environ 44 FPS.
  • Il propose une annotation de segmentation vidéo en bloc jusqu'à 8,4 fois plus rapide que l'annotation manuelle par image du modèle précédent.

Actuellement, SAM 2 est disponible sous licence de type Apache 2.0. Cette licence permet à chacun de créer ses propres expériences basées sur le modèle SAM 2 Meta rapporte les aspects suivants de son modèle :

  • SAM 2 contient du code sous licence Apache 2.0 qui permet son utilisation par les utilisateurs.
  • Le code d'évaluation du nouveau modèle Meta est sous licence BSD-3.
  • Les ensembles de données SA-V, qui contiennent une base de plus de 51 000 vidéos du monde réel avec plus de 600 000 masques, sont sous licence CC BY 4.0.

Meta permet actuellement aux utilisateurs de tester SAM 2 dans un format Démo à tout utilisateur qui le souhaite. Pour accéder à ce puissant outil, il suffit d'aller à ceci page Web et commencez à explorer. Nous aurons la possibilité de faire des coupes et d'ajouter des effets aux clips rapidement et facilement grâce à cette intelligence artificielle.

Les capacités de SAM 2, pour l'instant, semblent limitées à l'ajout de différents effets aux vidéos. Il pourrait s'agir d'une mesure visant à éviter les actions malveillantes telles que les « Deep Fakes » et d'autres types de vidéos manipulatrices qui pourraient donner lieu à de la désinformation, entre autres.