L’objectif de cette IA est de pouvoir remplacer un texte manuscrit présent sur une photo tout en conservant le style d’écriture. 

L’entreprise de Mark Zuckerberg vient de dévoiler un nouveau projet de recherche ; TextStyleBrush. Ce nouvel outil basé sur une intelligence artificielle permet de copier le style d’une écriture à partir d’un seul mot présent sur une photo et d’écrire du texte en conservant cette graphie.

Facebook présente son nouveau projet de recherche comme une solution pour « débloquer un nouveau potentiel d’expression créative ». Il n’est donc pas question de se faire passer pour une personne et d’écrire un message manuscrit à sa place, mais bien de proposer des messages personnalisés. L’IA TextStyleBrush se destine en effet avant tout à remplacer du texte dans des images, tout en conservant le style d’écriture.

Dans son communiqué, Facebook fait une démonstration du fonctionnement de son outil. Ainsi, à partir d’un seul mot manuscrit photographié et transmis à l’IA, cette dernière peut adapter un texte écrit sur ordinateur au style d’écriture de la photo originale. De quoi proposer des messages personnalisés, plus authentiques.

Outre l’aspect créatif du son projet de recherche, Facebook souhaite l’enrichir et développer de nouveaux outils à partir de celui-ci pour tenter de détecter les textes qui ont été trafiqués. « En publiant ouvertement cette recherche, nous espérons stimuler la recherche et le dialogue supplémentaires en anticipant les attaques de texte deepfake de la même manière que nous le faisons avec les visages deepfake. Si les chercheurs et les praticiens de l’IA peuvent devancer les adversaires dans la construction de cette technologie, nous pouvons apprendre à mieux détecter ce nouveau style de deepfakes et à construire des systèmes robustes pour les combattre », indique Facebook sur son blog.

Toujours en développement, TextStyleBrush pourrait permettre de traduire à la volée le texte manuscrit d’une photo. Une fonctionnalité que l’on retrouve déjà dans l’application Traduire de Google, mais là où le géant du web se limite à traduire en temps réel du texte via une photo ou le scan d’un texte, Facebook veut également reproduire la graphie et le positionnement du texte dans l’espace, mais surtout modifier le texte dans l’image, comme le montre cette photo :

L’outil de Facebook doit encore être amélioré, mais à terme, le réseau social ambitionne tout de même d’en faire une aide pour « la traduction de texte en images dans différentes langues, la création de messages et de légendes personnalisés, et peut-être un jour la traduction des panneaux de signalisation à l’aide de la réalité augmentée. »