Synchronisation audio-vidéo

La synchronisation audio-vidéo (ou synchronisation AV , également appelée synchronisation labiale ou, par son absence, erreur de synchronisation labiale , battement de lèvres ) fait référence à la synchronisation relative des parties audio (son) et vidéo (image) pendant la création, la postproduction (mixage), la transmission , la réception et le traitement de lecture. La synchronisation AV peut être un problème à la télévision , en visioconférence ou au cinéma .

Dans la terminologie de l'industrie, l'erreur de synchronisation labiale est exprimée comme la durée pendant laquelle l'audio s'écarte de la synchronisation parfaite avec la vidéo, où un nombre de temps positif indique que l'audio est en avance sur la vidéo et un nombre négatif indique que l'audio est en retard sur la vidéo. Cette terminologie et cette normalisation de l'erreur numérique de synchronisation labiale sont utilisées dans l'industrie de la radiodiffusion professionnelle, comme en témoignent les divers articles professionnels, les normes telles que l'UIT-R BT.1359-1 et d'autres références ci-dessous.

Les flux audio vidéo numériques ou analogiques ou les fichiers vidéo contiennent généralement une sorte de mécanisme de synchronisation, soit sous la forme de données vidéo et audio entrelacées, soit par un horodatage relatif explicite des données.

Il existe différentes manières par lesquelles la synchronisation AV peut être mal synchronisée.

Lors de la création, des erreurs de synchronisation AV se produisent en raison d'une erreur de synchronisation AV interne due à des retards de traitement du signal différents entre l'image et le son dans la caméra vidéo et le microphone . Le retard de synchronisation AV est normalement fixe. Des erreurs de synchronisation AV externes peuvent se produire si un microphone est placé loin de la source sonore, l'audio sera désynchronisé car la vitesse du son est bien inférieure à la vitesse de la lumière . Si la source sonore est à 340 mètres du microphone, le son arrive environ 1 seconde plus tard que la lumière. Le retard de synchronisation AV augmente avec la distance. Pendant le mixage de clips vidéo, l'audio ou la vidéo doit normalement être retardé afin qu'ils soient synchronisés. Le retard de synchronisation AV est statique mais peut varier selon le clip individuel. Les effets de montage vidéo peuvent retarder la vidéo, ce qui entraîne un décalage de l'audio.

Les transmissions ( diffusion ), réceptions et lectures peuvent introduire des erreurs de synchronisation AV. Une caméra vidéo avec microphones intégrés ou entrée de ligne peut ne pas retarder les chemins audio et vidéo de la même quantité. Les caméras vidéo à semi-conducteurs (par exemple, les capteurs d'image CCD et CMOS ) peuvent retarder le signal vidéo d'une ou plusieurs images. Les circuits de traitement des signaux audio et vidéo présentent des retards importants (et potentiellement non constants) dans les systèmes de télévision. Les circuits de traitement des signaux vidéo particuliers qui sont largement utilisés et contribuent à des retards vidéo importants comprennent les synchroniseurs de trames, les processeurs d'effets vidéo numériques, la réduction du bruit vidéo, les convertisseurs de format et les systèmes de compression .

Les circuits de traitement de conversion de format et de désentrelacement des moniteurs vidéo peuvent ajouter une ou plusieurs trames de retard vidéo. Un moniteur vidéo avec haut-parleurs intégrés ou sortie ligne peut ne pas retarder les chemins audio et vidéo de manière égale. Certains moniteurs vidéo contiennent des retards audio internes réglables par l'utilisateur pour faciliter la correction des erreurs.

Certains protocoles de transmission comme RTP nécessitent une méthode hors bande pour synchroniser les flux multimédias. Dans certains systèmes RTP, chaque flux multimédia possède son propre horodatage utilisant une fréquence d'horloge indépendante et une valeur de départ aléatoire par flux. Un rapport d'expéditeur RTCP (SR) peut être nécessaire pour chaque flux afin de synchroniser les flux.

Lorsqu'un flux de système AV numérique ou analogique ne dispose pas d'une méthode ou d'un mécanisme de synchronisation, le flux peut devenir désynchronisé. Dans les films, ces erreurs de synchronisation sont le plus souvent causées par des films usés qui sautent sur les pignons du projecteur de cinéma parce que le film a des trous de pignon déchirés. Les erreurs peuvent également être causées par le projectionniste qui a mal enfilé le film dans le projecteur.

Les erreurs de synchronisation sont devenues un problème important dans l' industrie de la télévision numérique en raison de l'utilisation de grandes quantités de traitement de signaux vidéo dans la production télévisuelle, la diffusion télévisée et les écrans de télévision pixellisés tels que les écrans LCD , DLP et plasma . Les écrans pixellisés utilisent un traitement de signal vidéo complexe pour convertir la résolution du signal vidéo entrant en résolution native de l'écran pixellisé, par exemple en convertissant une vidéo de définition standard pour l'afficher sur un écran haute définition. Les problèmes de synchronisation sont généralement causés lorsque des quantités importantes de traitement vidéo sont effectuées sur la partie vidéo du programme de télévision. Les sources typiques de retards vidéo importants dans le domaine de la télévision comprennent les synchroniseurs vidéo et les encodeurs et décodeurs de compression vidéo. Les encodeurs et décodeurs particulièrement problématiques sont utilisés dans les systèmes de compression MPEG utilisés pour la diffusion de la télévision numérique et le stockage des programmes de télévision sur des appareils d'enregistrement et de lecture grand public et professionnels.

En télévision, il n'est pas rare que l'erreur de synchronisation labiale varie de temps à autre de plus de 100 ms (plusieurs trames vidéo). La synchronisation AV est généralement corrigée et maintenue à l'aide d'un synchroniseur audio . Les organismes de normalisation de l'industrie de la télévision ont établi des niveaux acceptables d'erreur de synchronisation audio et vidéo et ont suggéré des pratiques liées au maintien d'une synchronisation acceptable. La recommandation R37 de l'UER « La synchronisation relative des composantes sonores et visuelles d'un signal de télévision » stipule que la synchronisation audio/vidéo de bout en bout doit être comprise entre +40 ms et -60 ms (audio avant/après vidéo, respectivement) et que chaque étape doit être comprise entre +5 ms et -15 ms.

Le résultat est généralement que les mouvements de la bouche d'un personnage filmé ou télévisé ne correspondent pas au dialogue parlé, d'où le terme de battement de lèvres ou d'erreur de synchronisation labiale . L'erreur de synchronisation audio-vidéo qui en résulte peut être gênante pour le spectateur et peut même l'empêcher d'apprécier le programme, diminuer l'efficacité du programme ou conduire à une perception négative de l'orateur de la part du spectateur. La perte potentielle d'efficacité est particulièrement préoccupante pour les publicités de produits et les candidats politiques. Les organismes de normalisation de l'industrie télévisuelle, tels que l' Advanced Television Systems Committee , se sont impliqués dans l'établissement de normes pour les erreurs de synchronisation audio-vidéo.

En raison de ces désagréments, les erreurs de synchronisation AV sont devenues un problème pour l'industrie de la programmation télévisuelle, notamment les stations de télévision, les réseaux, les annonceurs et les sociétés de production de programmes. Malheureusement, l'avènement des technologies d'affichage à écran plat haute définition (LCD, DLP et plasma), qui peuvent retarder la vidéo plus que l'audio, a déplacé le problème au domicile du téléspectateur et au-delà du contrôle de l'industrie de la programmation télévisuelle. Les fabricants de produits de consommation proposent désormais des réglages de retard audio pour compenser les changements de retard vidéo dans les téléviseurs, les barres de son et les récepteurs A/V, et plusieurs entreprises fabriquent des retards audio numériques dédiés conçus exclusivement pour la correction des erreurs de synchronisation labiale.

Pour les applications de télévision, le Comité des systèmes de télévision avancés recommande que l'audio ne devance pas la vidéo de plus deLe délai entre l' audio et la vidéo ne doit pas dépasser 15 ms. [ Cependant, l' UIT a effectué des tests strictement contrôlés avec des spectateurs experts et a constaté que le seuil de détectabilité est de 45 ms, ce qui entraîne un décalage de 125 ms. Pour le film, la synchronisation labiale acceptable est considérée comme ne dépassant pas 22 millisecondes dans les deux sens.

La Consumer Electronics Association a publié un ensemble de recommandations sur la manière dont les récepteurs de télévision numérique doivent mettre en œuvre la synchronisation A/V.

La norme SMPTE ST2064, publiée en 2015, fournit une technologie permettant de réduire ou d'éliminer les erreurs de synchronisation labiale dans la télévision numérique. La norme utilise des empreintes digitales audio et vidéo prises à partir d'un programme de télévision. Les empreintes digitales peuvent être récupérées et utilisées pour corriger l'erreur de synchronisation labiale accumulée. Lorsque les empreintes digitales ont été générées pour un programme de télévision et que la technologie requise est intégrée, le téléviseur du téléspectateur a la capacité de mesurer et de corriger en continu les erreurs de synchronisation labiale.

Les horodatages de présentation (PTS) sont intégrés dans les flux de transport MPEG pour signaler précisément quand chaque segment audio et vidéo doit être présenté et éviter les erreurs de synchronisation AV. Cependant, ces horodatages sont souvent ajoutés après que la vidéo a subi la synchronisation des images, la conversion de format et le prétraitement, et donc les erreurs de synchronisation labiale créées par ces opérations ne seront pas corrigées par l'ajout et l'utilisation d'horodatages.

Le protocole de transport en temps réel synchronise les médias à l'aide d'horodatages d'origine sur une chronologie arbitraire. Une horloge en temps réel telle que celle fournie par le protocole de temps réseau ou le protocole de temps de précision et décrite dans le protocole de description de session associé au média peut être utilisée pour synchroniser le média. Un serveur peut ensuite être utilisé pour la synchronisation entre plusieurs récepteurs.