J’ai décidé d’écrire ici un « bilan » de ce que j’ai appris après trois années de réalisation de contenus vidéo en réalité virtuelle. Je souhaite seulement partager mon expérience personnelle, sans être donneur de leçon. J’y partage aussi mon workflow dans le détail, peut être que cela pourra être utile aux personnes souhaitant débuter.
Premièrement, je parle des défis et avantages de la capture vidéo VR stéréoscopique à 180° par rapport à la captation à 360°, soulignant l’importance de l’effet 3D pour l’immersion du spectateur.
Ensuite, je détaille l’évolution de mon équipement, passant des caméras d’entrée de gamme à des configurations professionnelles, en mettant en lumière les défis et avantages techniques rencontrés.
De plus, je partage mes réflexions sur la composition et le mouvement de la caméra, soulignant leur impact sur l’expérience immersive du spectateur dans les vidéos VR. J’aborde les défis de diffusion de contenu VR, en mettant en évidence les limitations des plateformes actuelles et l’adoption limitée des casques VR.
Puis je partage mon expérience de travail avec différents clients dans le domaine de la réalité virtuelle, explorant les défis uniques et les opportunités de collaboration. J’explore les défis et les possibilités du montage vidéo en réalité virtuelle, partageant mon propre processus de montage et ses implications sur l’immersion du spectateur.
Enfin, je détaille mon workflow de postproduction, mettant en lumière les outils et les processus utilisés pour transformer les images brutes en vidéos VR immersives
Je mets en avant différents acteurs de la communauté VR avec lesquels j’ai collaboré, soulignant l’importance de l’échange et du partage de connaissances.
PREMIERS PAS DANS L’UNIVERS DE LA VIDEO VR.
Le visionnage de ma première vidéo en réalité virtuelle m’a frappée de plein fouet. L’immersion créée par la stéréoscopie, le format enveloppant qui nous submerge, la sensation d’être véritablement intégré à la vidéo elle-même… Comment, en tant que passionné de vidéo depuis l’adolescence, ne pas succomber au charme envoûtant de cette technologie ?
À la recherche d’une activité complémentaire à mon métier de monteur, le secteur de la réalité virtuelle m’apparaissait séduisant. En effet, la vidéo VR constitue une niche fascinante, peuplée de profils humains très diversifiés. J’y ai rencontré à la fois des techniciens d’une expertise pointue et des créatifs axés sur l’innovation. Au sein de cette communauté saine, l’entraide et l’échange d’idées sont de mise.
De plus, j’ai trouvé le processus de collaboration stimulant. Du tournage à la post-production, les workflows demeurent instables. Après de nombreux échanges avec d’autres créateurs, j’ai constaté que chacun développe sa propre méthodologie, notamment en postproduction.
Enfin et surtout, j’ai discerné un renouveau dans l’expérience visuelle elle-même. La réalité virtuelle redéfinit la perception de la vidéo à travers des qualités immersives inédites. Cependant, cette évolution nécessite de s’éloigner des conventions des vidéos traditionnelles (dites “2D”) et de réapprendre l’art de la captation. En tant qu’amoureux de l’image, ça m’a tout de suite rendu très enthousiaste.
Se laissant parfois tenter par la réalisation de projets créatifs en parallèle de mon activité principale, j’ai donc décidé de consacrer du temps à l’expérimentation de cette technologie. Et je ne le regrette pas une seconde!
LA VIDÉO SANS LIMITE
Jeux de focales, valeurs de plans, rythme du montage… Tout doit être ré-appréhendé. J’ai débuté avec la capture à 360° monoscopique grâce à une petite caméra Insta X One 2. Cette méthode crée une immersion totale (hélas sans effet stéréoscopique), qui vous englobe totalement de la tête au pied, , offrant au spectateur la liberté de construire sa propre expérience en bougeant la tête et en explorant l’espace. Chaque expérience est donc unique. Je trouve que de donner les clés aux gens de se construire sa propre expérience est vraiment génial. Cependant, il est fréquent que les spectateurs restent relativement passifs, comme s’ils étaient encore inconsciemment limités par les conventions de la vidéo 2D. De plus, capturer à 360° présente des contraintes techniques importantes, obligeant à rendre tout l’environnement visuellement intéressant.
Une alternative consiste en un angle plus restreint à 180° en 3D stéréoscopique, offrant une meilleure focalisation du regard sur les éléments mis en avant. L’effet 3D confère une impression de réalisme saisissante. Au final le spectateur apprécie aussi une expérience plus frontale (finalement plus proche de la vidéo 2D). L’effet 3D a une grande importance dans cette expérience puisqu’elle nous permet de voir les choses comme dans la réalité avec des contours, du relief, de l’ampleur, du volume. Bien que cette technologie soit familière dans le cinéma traditionnel, elle acquiert une dimension nouvelle lorsqu’elle est associée à un casque VR.
LE MATÉRIEL
L’Insta 360 Evo a constitué une entrée en matière technique accessible. Sans avoir d’expérience antérieure en tant que cameraman, elle a des réglages automatiques qui permettent de faire rapidement des images de qualité acceptable (au moins dans une phase d’apprentissage de la vr). Le stitching automatique, le 5k permettant une postproduction confortable et un rendu moyen, le « clic and shoot » séduisant: ces atouts m’ont permis de faire un premier projet où j’ai énormément appris sans devoir me vider les poches. J’adore toujours cette caméra, que j’embarque souvent en vacances pour créer des souvenirs immersifs. Cependant, ses limitations en termes de gestion des basses lumières se sont rapidement manifestées.
La véritable révolution est venue avec la configuration Canon R5C et l’objectif fish-eye optimisé pour la VR à 180° 3D. Bien que cette configuration professionnelle ait représenté pour moi un dilemme, surtout au niveau du prix (abordable mais relativement cher), elle a finalement démontré sa valeur grâce à la qualité pde ses images et à sa polyvalence, me permettant même de shooter de supers images en 2D et faire de la photographie occasionnelle.
La possibilité de shooter 8k 60 fps, avec le bon lighting, propose un rendu à mon sens très proche de la réalité. 8k est un format pour l’instant très important car il permet une diffusion en local sur les vr gear de haute qualité, et est adapté aux plateformes de diffusion VR. la cadence d’image à 60 fps permet d’avoir des mouvements très fluides (on sent une différence avec le 30 fps de l’ego par exemple), ce dont je me suis rendu compte sur mon projet de danse contemporaine pour Sintipon – V Tantse.
La complexité technique de cette configuration a tout de même de quoi effrayer, tant lors du tournage que de la postproduction. Un workflow relativement instable, l’utilisation du format RAW et de son log3 associé difficile à utiliser en postproduction… Toutefois, cette expérience m’a permis d’explorer de nouvelles méthodes de travail et de bénéficier de l’expérience des autres, même au prix de quelques défis techniques. Je remercie 1000 fois Hugh Hou, avec qui je suis devenu collaborateur, et eu la chance d’apprendre énormément à propos de cette camera
points forts:
une vraie avancée pour filmer la réalité
un frame rate qui permet de bien représenter le mouvement
le 8k, un format cohérent avec la diffusion actuelle
points négatif:
la difficulté de voir rapidement en vr ce qu’on shoot
le raw et son log 3 inutilisable après le stitching via ESO VR utility
Un workflow qui nécessite (pour ma part) un montage offline et un batch full def en fin de posptoduction
APPREHENSION DE LA SCENE.
Pour capturer une scène, je m’immerge toujours dans le regard du futur spectateur, utilisant mon propre œil pour appréhender la distance par rapport au talent ou à l’objet. Il est tentant de privilégier les plans rapprochés pour mettre en valeur un élément, mais selon mon expérience, cette proximité excessive crée un inconfort visuel, provoquant un effet de convergence des yeux. Personne ne souhaite être placé à seulement 5 centimètres d’un instrument de musique, par exemple. Opter pour une distance raisonnable du sujet entre 1m30 et 3 mètres, s’avère être un choix judicieux. Ainsi, une grande prudence doit être exercée lors du positionnement de la caméra, en utilisant l’environnement lui-même comme un élément essentiel. Ainsi, dans la réalité virtuelle, il convient d’adopter une approche plus proche de celle du théâtre en ce qui concerne la manière de filmer une scène.
Contrairement aux films plus traditionnels où l’on cherche souvent à dissimuler les éléments “non essentiels” de l’environnement, dans le cas de la réalité virtuelle, chaque détail est scruté avec attention. De plus, le choix de lieux complexes présente un véritable intérêt stéréoscopique. Par exemple, une forêt dense regorgeant d’arbres peut offrir un attrait visuel captivant, bien plus que de simples champs vides.
Dans mes films, la caméra est souvent positionnée à une hauteur de 1m80, sur trépied. En effet, j’imagine le spectateur debout lorsqu’il regarde une vidéo, et le fait de se rapprocher de sa taille potentielle favorise une immersion plus intense. Cependant, abaisser la caméra peut également être bénéfique, car cela permet de créer un effet similaire de mise en valeur du talent, sans recourir à une contre-plongée. Il m’arrive parfois de placer la caméra au ras du sol, ce qui procure une sensation amusante d’être une petite souris observatrice.
Certaines erreurs doivent absolument être évitées, telles que de « débuler » ou le manque d’horizontalité de l’axe de la caméra, ce qui pourrait induire une confusion chez le spectateur, donnant l’impression de pencher la tête de manière étrange. Les plongées, curieusement ressenties, peuvent entraîner rapidement un sentiment de nausée.
Le mouvement de la caméra constitue un sujet d’intérêt. En réalité virtuelle en 180° 3D, il est essentiel de respecter certaines règles pour éviter le « motion sickness » ou « la nausée du spectateur ». Une grande attention doit être accordée à ce problème si l’on souhaite éviter que les gens ne se sentent mal, parfois sur plusieurs minutes. Ainsi, il est impératif de ne jamais effectuer des mouvements trop brusques. Les mouvements verticaux et horizontaux doivent être évités, et la seule option viable est d’avancer ou de reculer très lentement à l’aide d’un gimbal ou d’un slider. Un mouvement maîtrisé peut devenir un outil extraordinaire dans la mise en scène, et j’ai remarqué que les spectateurs apprécient cet effet, leur donnant l’impression d’être une sorte de divinité capable de se déplacer à travers les images. Le mouvement confère donc une dimension de puissance à cette expérience à mi-chemin entre passivité et activité.
LE SUPPORT ET LES PLATEFORMES DE DIFFUSION, UN FREIN ?
Le principal défi reste la diffusion de ces contenus, exclusivement à travers les casques de réalité virtuelle. Certes, les films sont visibles sur Ordinateurs, tablettes et Smartphone, mais l’immersion est nulle sans casque VR. C’est une technologie qui se vit pleinement à l’aide d’un casque de réalité virtuelle. Malgré les avancées technologiques, l’adoption de ces dispositifs reste limitée en raison de leur coût et de l’absence d’une offre de contenu suffisamment attractive. De plus, les plateformes de diffusion telles que YouTube présentent des limitations en termes de qualité et de compatibilité avec la réalité virtuelle, frustrant ainsi les créateurs de contenus.
Pourquoi investir dans un casque VR? Le flop du Metaverse, les dangers du dénis de soi… Et bien à part pour les jeux vidéos, cette technologie ne suscite pas encore un grand intérêt. Personnellement je m’interdit de jouer en VR car je connais bien mon addiction aux jeux vidéo et sait que j’y perdrais clairement ma vie sociale! L’Allemagne a aussi longtemps boudé les Vr gear de Meta car ils nécessitaient une connexion facebook. J’ai donc commencé à travailler sur cette technologie alors que presque personne n’avait de casque de réalité virtuelle en Allemagne. Les casques sont relativement cher, de 500 euros pour l’oculus Quest3 3 à 4000 euros pour Apple Vision… un prix raisonnable est le Quest 2 qui est à 200 euros. Je pense qu’il faut absolument que les prix n’excèdent pas 100 euros pour que plus de gens disposent de cette outil de diffusion dans leur foyer.
Et puis, même si j’adore cette technologie, est elle interessante pour les autres? L’experience video étant semi-passive, a t’elle un intérêt pour les possesseurs de casques? Pour moi c’est une question de format, de durée. Une expérience d’une durée maximal de 5min a un vrai impact en vr. casque lourd, nausée etc… Je trouve personnellement que ce qui dépasse ce format est trop long.
Justement, n’est ce pas la justement un nouveau souffle pour le clip vidéo et même la publicité, deux formats qui ont perdus de leur valeurs créatives depuis sa consommation sur nos téléphone et a travers les réseaux sociaux. La VR impose de reprendre le temps de consommer une vidéo, et e trouve ça plutôt génial. Je pense que la video vr est peut être une solution à la long terme pour les créateurs de s’exprimer a nouveau sans avoir a brider leur travail à des durées de 15 secondes, dans un format vertical anti-immersif qui défie en tout point la vision même de l’être humain qui a deux yeux positionnés horizontalement. Ayant eu la chance de rentrer dans le monde de la publicité à mes 20 ans dans une boite fantastique (WIZZ) avec un catalogue de réalisateurs supers créatif, j’espère que cette technologie permettra un renouveau dans la publicité de qualité au vertu artistique. Je ne peux qu’imaginer Bruno Aveillan ou Reynald Grasset réaliser quelque chose avec cette technologie… ça serait fantastique.
En ce qui concerne la diffusion sur les plateformes, la visualisation de vidéos en réalité virtuelle n’est pas encore pleinement optimisée. C’est un problème récurrent dans le domaine de la vidéo : malgré vos efforts pour capturer la meilleure qualité possible, passer des heures à étalonner vos films, le résultat final est souvent visionné dans une qualité médiocre sur les plateformes en ligne. Ce problème est exacerbé en réalité virtuelle : les personnes qui n’ont pas de casque donneront des retours négatifs sur votre travail, surtout s’ils le visionnent en 480p sur leur smartphone 🙂
Youtube: Depuis deux ans je vois cette plateforme de plus en plus bouder la VR. Plus de disponibilité de diffusion sur des casque, le maximum de diffusion est du 4K… Cette limitation me rend fou ! Imaginez la frustration de produire du contenu en 8K pour qu’il soit diffusé à seulement la moitié de sa qualité. C’est extrêmement frustrant.
Quand à DeoVR, je ne peux pas vraiment partager mon expérience sur cette plateforme car je laisse mon acolyte Björn Sondermann gérer nos vidéos sur cette plateforme. J’ai l’impression qu’ils ont de bonnes idées mais je n’y ai pas trouvé mon compte dans ma navigation.
LES CLIENTS
L’approche des nouveaux clients dans ce domaine en constante évolution demeure un défi. comment approcher de nouveaux clients avec cette technologie de niche en perpétuel mouvement alors qu’elle n’est pas un outil promotionnel basique et ne peut être vu que par un pourcentage limité de gens disposant d’un vr gear? J’ai eu la chance d’être accompagné par des partenaires pour atteindre différents groupes de musiciens et de clients, et cette collaboration a abouti à des projets enrichissants. Le soutien de certains établissements, comme le Ratinger Hof de Düsseldorf, a été essentiel à la réalisation de nos projets. Grace à mon collaborateur Björn Sondermann, j’ai pu convaincre des groupes de musiques à intégrer notre concept ON STAGE et à travailler avec la marque PEARL pour promouvoir un de leur produit phare. Toutes ces collaborations ont aboutis à des projets intéressants et des collaborations passionnées. Au vu du risque de flop de ce type de projet, surtout dans le but même d’un clip qui est un outil devenue purement promotionnel, je remercie infiniment chaque personne qui a participé à mes projets.
UN NOUVEAU RYTHME
Le Montage est un exercice extrêmement intéressant car il n’y a pas encore de vraie règle établie, Nombreux sont ceux qui avancent que “le montage tue l’immersion”, ou encore que “changer de perspective en VR casse la sensation d’être projeté dans une vision de la réalité”. À mon sens, le montage ouvre au contraire un vaste champ artistique dans le domaine des vidéos en réalité virtuelle.
Dans le cadre de notre série ON STAGE, nous avons défini nos propres règles après avoir expérimenté divers principes de montage. Voici ce que nous avons pu en tirer : nous optons pour la mise en avant des plans les plus immersifs, ceux qui nous plongent littéralement dans les yeux des musiciens, en les maintenant sur une durée significative, souvent entre 10 et 20 secondes. Cette approche permet au public de pleinement s’immerger dans les détails de la scène, de déplacer sa tête pour observer chaque élément. D’avoir le temps de scruter la scène.
D’un autre côté, nous avons constaté qu’en plaçant le talent ou l’objet central de la scène au centre de l’image, et à une certaines distance, nous pouvons découper la séquence de manière plus dynamique, en enchaînant les plans plus rapidement. Cela donne un rythme plus proche de celui d’une vidéo en deux dimensions et densifie l’expérience, surtout lorsque la musique est impliquée.
Je m’efforce de maintenir un montage qui suit les différentes phases de la musique, facilitant ainsi l’acceptation des changements de plans de manière plus sereine par l’inconscient.
Enfin, je veille à rester prudent quant aux changements radicaux de valeurs de plans, évitant ainsi aux yeux de devoir s’ajuster brusquement entre un gros plan et un plan large, ce qui pourrait perturber l’expérience visuelle de manière désagréable.
LA POSTPRODUCTION
Voici mon workflow de postproduction
Je tourne les images sur deux cartes qui enregistrent en parallèle les rushes en 8k (dit « full ») et une autre en 2K (les proxy dites « offline »). En Parallèle de la préparation du montage, je transcode les rushes natifs (.crm non stitchés) en proies 422 HQ stitché avec EOS VR UTILITY. Ce soft permet de faire le stitching automatiquement ce qui est très pratique. Je vous propose néanmoins si vous voulez vous assurer d’avoir une bonne 3D d’utiliser une solution beaucoup plus complète mais qui demande un vrai savoir faire: MISTIKA BOUTIQUE. Ensuite je travaille sur Adobe Premiere avec les proxy (renommées exactement comme le rushe full dont elles sont associés. C’est un montage Offline relativement inconfortable (je dois monter avec la vision en fish-eye) mais qui me permet d’avancer assez vite jusqu’au premier rendu. à l’aide d’un EDL je conforme mon montage sur DAVINVI RESOLVE en 8k, j’utilise un plug de denoise (le raw est hélas très bruité), procède à l’étalonnage et exporte trois types de rendus:
H264 6K 60 mbits: pratique pour un visionnage rapide et sans latence avec SKYBOX sur Oculus Quest 2
H264 8k 100 mbits: qui roule sur un Quest3 et une première option pour l’upload sur tout type de plateforme
PRORES 422HQ 8K: mon master à backuper.
donc Utilisation de 2 cartes pour l’enregistrement en parallèle des rushes en 8K et en 2K (proxy)
- Transcodage des rushes natifs en ProRes 422 HQ stitché avec EOS VR UTILITY pour le montage
- Utilisation d’Adobe Premiere avec les proxies pour un montage “offline”
- Conformation du montage sur DaVinci Resolve en 8K à l’aide d’un EDL
- Étalonnage et exportation en plusieurs formats
LES ARTISANTS DE LA VR
Je me permets ici de citer des personnes avec qui j’ai eu la chance d’échanger. Je vous recommande vivement de visiter leurs plateformes pour découvrir leur travail.
Björn Sondermann est mon principal collaborateur, avec qui je travaille sur tous mes projets depuis deux ans. Vivant tous les deux en Allemagne, dans des villes voisines, et partageant une passion pour la réalité virtuelle et la musique, nous avons décidé d’unir nos forces pour avancer de manière plus prolifique dans nos projets. Björn est quelqu’un de très humain, d’extrêmement sympathique, toujours curieux des avancées technologiques et qui s’enrichit des autres. https://www.linkedin.com/connect-services/?session_redirect=https%3A%2F%2Fwww.linkedin.com%2Fin%2Fbj%25C3%25B6rn-sondermann-b6b05692%2F%3ForiginalSubdomain%3Dde
Il est impossible de ne pas mentionner Hugh Hou, avec qui j’ai tant appris. Sa capacité à simplifier et rendre « pop » la complexité de la réalité virtuelle à travers ses tutoriels a grandement aidé de nombreuses personnes à se lancer dans ce domaine et à surmonter les obstacles.https://www.youtube.com/channel/UCeEqIv7lVwOOLnwxuuhQFuQ
J’ai eu la chance de travailler avec le talentueux Joby Catto en tant qu’assistant caméra. Joby est extrêmement compétent techniquement et a réalisé de nombreux films immersifs. https://twitter.com/antilimited
Je suis également en contact avec Daniel Vega, qui crée un grand nombre de vidéos pour la plateforme DeoVr. Nous partageons une passion similaire pour nos projets, motivés par notre amour pour ce domaine. https://www.linkedin.com/in/daniel-vega-768662265?originalSubdomain=cl
Le travail d’Alex Baker est également très intéressant. Elle a écrit un article passionnant sur la réalité virtuelle.https://www.diyphotography.net/
Forrest Briggs de LifecastVR propose des solutions en matière de vidéo volumétrique. Nous avons collaboré sur un projet 6DOF qui a d’ailleurs remporté plusieurs prix lors de festivals dédiés à la réalité virtuelle. https://lifecastvr.com/
Dimitri Alips de Courant 3D à Angoulême nous a découverts et invités à leur festival où nous avons eu l’occasion de présenter notre travail. https://www.youtube.com/watch?v=PkZ9IlJiQCw
Andrew Hazelden est une référence incontournable dans le domaine de la réalité virtuelle. Son expertise technique est incroyablement précieuse.https://gitlab.com/AndrewHazelden
Je continue à m’enrichir de l’expérience de personnes comme A4VR à Düsseldorf, VR WORLD à Cologne, Jörg chez Bob Media, Marcel Heiss, contact chez Canon. J’espère pouvoir continuer à bénéficier de leurs connaissances et de leur expérience
L’AVENIR
Quant à l’avenir de la réalité virtuelle dans le secteur de la vidéo, il reste incertain. Pour ma part, ces projets m’ont permis de m’épanouir et de répondre à un besoin créatif. Cependant, l’évolution du secteur dépendra en partie des décisions des grandes entreprises technologiques telles qu’Apple ou Meta, ainsi que de l’évolution des préférences des consommateurs.
En conclusion, la réalité virtuelle offre un potentiel créatif considérable mais demeure confrontée à des défis techniques et économiques. Toutefois, son adoption plus large pourrait ouvrir de nouvelles perspectives dans le domaine de la création audiovisuelle. J’espère que cet article vous a intéressé!
Jérôme Lozano
Virtual Reality Filmmaker
+33 6 76 94 90 30
jerome.monteur@gmail.com
➜ Website: https://www.jeromelozano.com/
➜ YouTube: https://www.youtube.com/@jeromelozano
➜ Instagram: https://www.instagram.com/jeromelozano
