Blog / Fondations, Visuellement parlant

Compréhension sémantique des images

Peter Krogh
Fri May 08 2020

En 1984, Apple a présenté l'ordinateur Macintosh, qui a déclenché une révolution dans le domaine de la PAO et du traitement de texte. Des outils qui étaient auparavant utilisés uniquement par un petit nombre de professionnels qualifiés se sont soudainement retrouvés entre les mains de presque tout le monde et sont rapidement devenus indispensables à de nombreux emplois et au fonctionnement général de la société. Les téléphones portables font la même chose avec les médias visuels.

C’est difficile à imaginer, mais il a fallu attendre 20 ans entre le début de la révolution de la PAO et l’arrivée de l’indexation complète du disque dur sur votre ordinateur. (Vous savez, cette fonction que vous considérez comme acquise, qui vous permet de saisir un texte et de voir apparaître dans une liste tous les documents de votre ordinateur contenant ce texte ?) Entre-temps, il n’existait aucun moyen efficace de classer et de retrouver des documents spécifiques, à part les noms de fichiers et de dossiers. C’était compliqué, chronophage et il était très facile de perdre des données importantes.

Nous en sommes au même point dans le développement du langage photographique. Nous sommes confrontés à un flot de nouveaux fichiers à gérer, mais les outils de stockage, d’étiquetage et de recherche sont très en retard. Cela est dû en grande partie au fait que nous n’avons pas une bonne idée de la sémantique des images.

Qu'est-ce que la sémantique des images ?

La sémantique est définie comme l'étude du sens dans une langue. Lorsque nous réfléchissons à la manière de parler le langage de l'image, il est essentiel d'avoir une notion plus formalisée du contenu, du contexte et du sens. Cette notion doit prendre en compte un certain nombre des éléments suivants :

  • Éléments dénotatifs : il s’agit du qui, quoi, quand, où et pourquoi du sujet d’une image. De nombreux outils de métadonnées matures se sont concentrés sur ce sujet, à commencer par l’IPTC bien avant la révolution de la photo numérique. L’industrie de la photographie de stock a également fait avancer ce domaine, car il y avait une raison économique de développer de meilleures méthodes pour étiqueter et rechercher de vastes collections d’images à des fins de vente et de licence. Les outils d’IA font désormais avancer ce domaine.
  • Graphique d'objets - Dans un langage parlé avec l'utilisation d'objets, le chemin, la prolifération et les connexions à l'objet deviennent une partie profondément importante de la compréhension du sens et de l'importance de l'image.
  • Connaissance et intention du créateur - Il est souvent essentiel de connaître l'intention du photographe afin de comprendre complètement le sens ou l'importance d'une image. Une image a-t-elle été capturée (et partagée) pour montrer quelque chose de spécifique ? Était-ce une bonne ou une mauvaise chose ? Les médias visuels peuvent contenir beaucoup d'informations, et il peut être très utile de savoir à quelle partie le créateur voulait que vous prêtiez attention.
  • Point de vue du spectateur – Vous ne pouvez pas déterminer la signification sans déterminer la relation entre l’image et la personne qui la regarde. Les informations dénotatives et le graphique d’objets aident à déterminer si un objet a une signification pour moi. Et cette signification peut être différente de celle des autres, en fonction de mon graphique personnel ou de ma perspective culturelle.

Informatique et découverte

La sémantique des images relève de l'informatique : l'étude de l'interaction entre les personnes et les systèmes d'information. En fin de compte, nous avons besoin d'un moyen d'analyser les images pour trouver celles qui répondent à nos besoins. Parfois, cela sera facile. À mesure que vos besoins deviennent plus complexes, que votre collection s'agrandit et que vous cherchez à utiliser des supports visuels d'autres collections, le problème de la sémantique devient plus difficile et plus important.

Il existe plusieurs méthodes structurelles pour aborder la question de la découverte :

  • Recherche et filtrage simples – Les outils habituels dont nous disposons pour effectuer des recherches dans nos propres collections continueront d’être importants. Si vous connaissez la date de la prise de vue, un simple filtre peut être le moyen le plus simple de trouver la bonne image. La recherche et le filtrage seront clairement améliorés par les services de balisage informatique, qui aideront à mesure que les collections s’agrandiront.
  • Recherche dans les services de reconnaissance d'identité - Lorsque vous effectuez une recherche avec Google, la recherche est facilitée par ce que Google sait de vous. Il peut s'agir de l'endroit où vous vous trouvez, ce qui permet de trouver des résultats pertinents au niveau local. Siri et Google en savent beaucoup plus sur vous et peuvent, par exemple, deviner si vous voulez dire « chevaux » ou « voitures » lorsque vous recherchez « courses ».
  • Agents locaux intelligents – Il est possible que nous voyions également apparaître un type de capacité de recherche intelligente qui s’exécute localement dans les collections privées et qui permet au propriétaire de la bibliothèque de connaître la personne qui effectue la recherche plutôt que de conserver toutes les informations enfermées dans un réseau social ou un service Web géant.

La sémantique des images est un domaine jeune qui a encore beaucoup à faire. Même si le chemin exact reste incertain, il est certain qu’elle va se développer car le problème – et la valeur d’une solution – s’accroissent. L’utilisation de nouveaux outils pour la sémantique visuelle nécessitera la collecte, la préservation et l’accessibilité des médias.

La semaine prochaine, nous examinerons l’écosystème de la médiathèque : ce que vos outils doivent accomplir et comment les évaluer.

Mediagraph est-il adapté à votre organisation ?

Découvrons-le ensemble.

Réservez votre démo aujourd'hui