Jev picks avatar expressions and motions in real time for a streaming POC
The author's agent built a proof of concept where text is split into coherent passages and Jev reads each one's meaning to choose the avatar's expression, motion and intensity, while audio is generated locally and later passages are processed in parallel.
Je suis HS dans mon lit 🤧 mais j'ai demandé à mon agent de faire un poc rapide pour http://avatars.bible-strong.app Les applications sont infinies ça ouvre un nouveau monde des possibles. Par exemple ici on a créé un système qui permet à l’avatar de prononcer en direct un stream en y ajoutant des expressions. L'app découpe automatiquement en petits passages cohérents. Dès qu’un passage est complet, JEV analyse son sens et choisit l’expression, le mouvement et l’intensité adaptés. Pendant ce temps, l’audio est généré localement et les passages suivants continuent d’être reçus et analysés en parallèle. Chaque morceau rentre dans une queue : l’avatar peut ainsi réciter le message, changer d’émotion et bouger naturellement sans attendre que le texte entier soit disponible. C'est un peu approximatif, mais l'idée est là
This post quotes another post: x.com/matijasosic/status/2100190746389135772