2010

• Matroska (open standard) Praxis Containerformate...

0 downloads 41 Views 3MB Size
Medienproduktion WS 2009 / 2010 Dipl.-Inform. Alexander Schulze Prof. Dr. Ing. Klaus Rebensburg

Medium Video Grundlagen / Basiswissen - Teil 2

Kompression et al

Kompressionsmethoden: Charakteristiken

• •

verlustfrei



Originaldaten sind mit den decodierten Daten identisch

verlustbehaftet



decodierte Daten enthalten weniger Informationen als die Originaldaten

• •

Intraframe



Bilder werden unabhängig voneinander kodiert

Interframe



Bilder werden unter Einbeziehung der vorangegangenen und/oder der folgenden Bilder kodiert

Kompressionsmethoden: Charakteristiken

• •

symmetrisch



Aufwand für Encoding und Decoding ist gleich

asymmetrisch





Encoding ist aufwändiger als Decoding



real-time



Encoding-decoding delay sollte 50 ms nicht übersteigen

skalierbar

• •

Basisparameter können unterschiedlichen Anforderungen angepasst werden Szenario: Handy-TV bis digitales Kino

Kodierung - Codecs



Codec

• • • •

Software-Komponente, für die Kodierung und Dekodierung der Pixel hier findet die Kompression statt oft als Plugin für Videoarchtektur (VfW, QT,…) realisiert Ziel: “optimale Qualität bei minimaler Dateigröße”

• •

zwei Klassen

• •

lossless lossy

typische Codecs

• • •

MJPEG / DV DIVX, MPEG 1 / 2 H.264

Container-Formate Verpacken von Video und Audiodaten

Containerformate





Was leisten Containerformate?

• • • •

Umschlag in den Video-/Audiodaten gesteckt werden definieren binäres Austauschformat (Datei) oft alternative Video-/Audiodaten möglich oft Metadaten möglich

Was leisten Containerformate nicht?



keine Kodierung der Audio- / Videodaten (→ Codec)

Containerformate vs. Codec

• • • •

Container kodiert nicht Audio- / Videodaten selbst Medienkodierung über Codec Codec kann in Player-Software integriert sein oft aber PlugIn-Architektur: Codecs als austauschbare Software-Module einer ins OS integrierten Videoarchitektur

Beispiele für Containerformate

• • • •

QuickTime (Apple) Windows Media (Microsoft) Real Media (Real) Matroska (open standard)

Praxis Containerformate





Problem-Szenario (PlugIn-Ansatz)

• • • •

Austausch einer Container-Datei beide Systeme können Container-Format öffnen Video/Audio spielt → Codec fehlt Nachinstallation fehlender Codecs (nicht alle Codecs sind plattformübergreifend implementiert)

Alternative:

• • •

FLV, Flash Video mit festem Codec im Player kein Nachinstallieren von Codecs nötig aber: mit neuen Codecs in neuem Player auch Inkompatibilitäten

QuickTime Containerformat

• •

• •

Container-Format extrem flexibel

• • • •

speichert Video, Audio, Bild, Effekte Flash-Spuren, Untertitelspuren, Kapitelmarken, Masken Interaktivität über Skriptspuren, Sprites, Panoramen, VR große Anzahl hochqualitative Codecs

spurbasiert häufig im professionellen Bereich als universelles Austauschformat genutzt

.mov

QuickTime Containerformat

• •

Vorlage für .mp4 Datei-Format als MPEG-4 Part 14 übernommen

.mov

Flash-Video Containerformat

• • • •

Container-Format i.d.R. als Stream (RTMP oder HTTP) Wiedergabe -> Flash-Player / Browser-PlugIn Codecs: Sorenson, On2 VP6, MPEG-4 H.264

.flv

Flash-Video Containerformat

• • •

Integration in SWFs Steuerung durch Flash-Inhalte Interaktion mit Flash-Inhalten

Flash-Video - Codecs Flash-Player

Sorenson

VP6

H.264

1..5







6







7







8







9.0.115







Video-Codecs und -Kompression H.264 und Co...

Codec vs. Kompressionsverfahren





Kompressionsverfahren

• •

Techniken, Algorithmen zur (De-)Kompression von (Video)Daten Beispiele MPEG-2 (Motion Compensation, Quantisierung, Variable Length Encoding (Huffman), DCT,...)

Codec

• •

Stück Software das ein (De-)Kompressionsverfahren implementiert Beispiele Xvid (MPEG-4 ASP, MPEG-4 AVC)

Kompressionsverfahren

ITU H.264 (ISO/IEC MPEG-4 AVC)

• • • • • •

Sprachgebrauch: „H.264“ ISO / IEC Standard (14496) und ITU Standard (H.264) aka MPEG-4 Teil 10 aka MPEG-4/AVC hocheffizient, z.Zt. State of the Art aber: sehr hohe Prozessorlast beim Schneiden hochflexibel einsetzbar

• •

HDTV, HDV Videokameras, Blue-ray und HD DVD DVB-H DMB (Mobilfernsehen),Videokonferenz

H.264 (MPEG-4 AVC)

• • •

benötigt ~1/3 der Datenmenge von MPEG2 (DVD)



in Containern:

Rechenaufwand 2-3x MPEG2 implementiert in XVID AVC, QuickTime H.264, DIVX 7, x264,... .mp4

.mov

.flv

.mkv

...

MPEG-4 ASP

• • • • •

Sprachgebrauch: „MPEG 4“ ISO / IEC Standard (MPEG 4 Teil 2 / 14496-2) gute Kompression bei vertretbaren Rechenaufwand H.264 in Kompressionsleistung unterlegen Implementiert in DIVX, XVID, QuickTime MPEG-4,..

Interframe Kompressionsstrat

Interframe Kompression Motion Compensation

Kompression mit Motion Compensation - noch ein Beispiel Kamera-Bild Landschaftsbild

Kamera-Schwenk

Abschnitt verschwindet aus dem Bild

Abschnitt erscheint neu in dem Bild Abschnitt wird nur verschoben

Motion Compensation in MPEG2

MPEG-1/2 Bildsegmentierung

Macroblock

Y

Y

Y

Y

Cr

Cr

Cr

Cr

Block

Cb Cb Cb Cb

Picture Slice

Codecs

DIVX / XVID





DIVX

• • • •

kommerzieller MPEG-4 ASP Codec ab Version 7 auch H.264 Hersteller DivX Inc. Hardware-Unterstützung (z.B. DVD-Player)

XVID

• • •

freier MPEG-4 Codec implementiert MPEG-4 ASP neuere Versionen (XVID AVC) auch MPEG-4 AVC

DV / MJPEG

• • • •

Einzelbilder werden getrennt komprimiert JPEG-Kompressiontechniken gut zu schneiden und zu bearbeiten relativ geringe Kompressionsleistung DV PAL-Datenstrom mit 25MBit/s 4,6GB (DVD) = ~23 min

DV / MJPEG





DV

• • • • •

Standardverfahren zur Kompression für Digitale Videokameras implementiert in SD Mini-DV Kameras (miniDV/DVCam) konstante Datenrate (25MBit/s) Kompression ca. 1:5, YUV 4:2:0 feste Auflösung (720x576) und Bildrate (25)

MJPEG (aka Motion JPEG)

• •

ähnlich DV, Einsatz in (SVHS/Hi8) Nachteil: variable Datenrate

Farbunterabtastung Die Kompression vor der Kompression

Color Subsampling Farbunterabtastung

Quelle: „A Digital Video Primer“, Adobe



„Kompression vor der Kompression“



Farbkodierung mit Helligkeits- und Farbkomponenten (YUV statt RGB)



reduziert Datenmenge der Farbinformation



menschliches Auge ist empfindlicher für Helligkeitsinformationen

4:2:2, 4:1:1, 4:4:4 ???



Terminologie zur Beschreibung des Verfahrens zum Color Subsampling



Faktoren die Verhältnis der Samplingfrequenzen/häufigkeiten der Komponenten Y (Helligkeit), Cr (Farbkomponente 1) und Cb (Farbkomponente 2) ausdrücken

4:2:2, 4:1:1, 4:4:4 ???

• •

YUV, Y:Cr:Cb



4:2:2 ist der professionelle Standard (z.B. Betamax, D1), (bester Kompromiss Farbtreue/Bandbreite)

4:1:1 meint das die Farbkomponenten mit je ¼ Auflösung gegenüber der Helligkeit gemessen werden (13.5 MHz:3.375 MHz:3.375 MHz) Consumerbereich (ähnliches Sampling z.B. bei DV)

Übliche Farbunterabtastungen

• •

4:4:4



alle drei Komponenten werden in gleicher Qualität erfasst, keine Unterabtastung

4:2:2



U und V mit ½ Y-Genauigkeit erfasst = 50% Farbinformationen verloren



4:1:1



U und V ¼ Y-Genauigkeit erfasst = 75% Farbinformationen verloren

Übliche Farbunterabtastungen



4:2:0

• • •

75% Farbinformationen verloren jede zweite Zeile ohne Farbe (4:0:0), die andere 4:2:2 Verwendung im DV-Format (Digitale Videokameras (Consumer))



4:2:2:4



vierte Komponente bezeichnet Abtastungs eines Keyingsignals (Alphakanal)

Aspect Ratio Hintergründe zu den heute verwendeten Bildformaten

Aspect Ration / Seitenverhältnis

• • •

beschreibt das Bildformat

• • • •

4:3, 16:9, 2,35:1,...

für Fernsehen, Kino, Fotos,... ausgedrückt in Zahlen mit der Breite als erster Zahl Notation Film 1,37:1

Notation TV 4:3

hat starken Einfluss auf die Bildgestaltung übliche Standards haben sich gebildet

Das Format 4:3 Warum gerade 4:3??

Aber warum gerade 4:3?

• •

Zeitreise zurück zu den Anfängen des Kinos

• •

nutzbare Filmfläche

4:3 abgeleitet aus den Filmformaten der Stummfilmära Filmtransport über Perforation

Filmtransport über Perforation



Kinetoskop, früher Projektionsapparat

• •

erfunden um 1890

• •

und Thomas Alva Edison

von William Kennedy Laurie Dickson Film in 19-mm mit einseitiger Perforation von vier Löchern pro Bild

Der 35mm Filmstandard



George Eastman, Erfinder des Filmmaterials Kodak mit 70-mm Breite



Dickson & Eastman halbierten den 70-mm Kodak-Film brachten Perforationen an beiden Seiten an



Geburt des Filmstandards 35-mm

Format 4:3

• • • •

35mm-Breite abzüglich Perforation = 24mm 4 Löchern pro Bild nach Dickson also 24-mm x 18-mm = 1,333:1 = 4:3 Bildformat im Kino der Stummfilmära

4:3 - vom Film ins Fernsehen

• • •

wurde fürs Fernsehen übernommen und hat unsere Sehgewohnheiten geprägt Übertragung auf andere elektronische Geräte

Einfluss Ton auf Bildformate

Quelle: Wikipedia Quelle: gruntmedia.com



Übergang Stummfilm → Tonfilm

• • •

Platz für Tonspur



heute Film meist: 1,85:1 oder 2,35:1

1,33:1(4:3) → 1,37:1 später noch weitere Formate

Das Format 16:9 Warum gerade 16.9 (1,77:1)?

Format 16:9 (1,77:1) - Hintergründe

• • • • •

Fernsehen bedrohte in den 50ern die Filmindustrie deshalb technische „Aufrüstung“ der Filmindustrie Innovationen verbesserten das Kinoerlebnis Entstehung immer neuer Kino-Breitbildformate Cinemascope,VistaVision, Cinerama, Technirama

Format 16:9 (1,77:1)

• •

Problem: Fernseher für Breitbild-Filme ungenügend



Dr. Kerns Powers vom David Sarnoff Research Center in Princeton

• • •

führendes US-Forschungslabor für TV-Technologie

Ende der 1980er sollte ein Breitbildformat für Fernsehen und Video festgelegt werden

er verglich alle wichtigen Film-Formate bei 16:9 waren im Schnitt die geringsten Verluste aller Formate zu beobachten

Format 16:9 (1,77:1)

Ausgangsmaterial Film- und Fernsehmaterial, Technik, Basiseigenschaften

Film

• •

auf 35-mm / 70-mm mit 24 fps gedreht

• • •

mit 48 fps projiziert um Flimmern zu vermeiden



aktuell: verstärkt direktes Drehen mit Digitaltechnik

oft im Seitenverhältnis von 1,85:1 oder 2,35:1 (Panavision, Cinemascope). jeder Frame wird vom Projektor doppelt angezeigt vier Filmbilder (A,B,C,D) werden als A,A,B,B,C,C,D,D angezeigt

klassische Fernsehnormen

• •

PAL , NTSC, SECAM

• •

Grundidee aller Systeme: Schwarzweiss-kompatible Farbfernsehübertragung Ableitung eines Farbmodells das Helligkeit und Farbe trennt

SECAM

• •

politisch motiviert „Système élégant contre l'Amérique“ Schutz der einheimischen Gerätehersteller

Fernsehnorm PAL

• •

PAL – “Phase Alternation Line”

• • •

50 Hz Bildwiederholrate, genau 25 Halbbilder/s

Einsatz für TV in Westeuropa (außer Frankreich) und Australien 25 fps mit 50 Halbbildern pro Sekunde digital 720x576 Pixel

Fernsehnorm NTSC



NTSC – “National Television Standards Committee”

• • • • • •

amerikanische Fernsehnorm 60Hz Bildwiederholrate, genau 59,94 Halbbilder/s 30 fps (exakt 29,97 fps) 525 Zeilen, davon 480 sichtbar Einsatz vor allem in USA und Japan digital 720x480 Pixel

Fernsehnormen Verbreitung PAL , NTSC, SECAM

Fernsehnormen – HDTV

• • •

High Definition TeleVision

• •

bis zu 1920x1080 Pixel



bietet progressive und interlaced Formate

Hochauflösendes Fernsehen keine Abwärtskompatibilität → neue Fernseher nötig schärfer, auch für große Projektionsgrößen (bis ca. 5m geeignet)

Fernsehnormen – HDTV



verschiedene Modi, Kurzbezeichnungen: Schema: AbF (z.B. 1080i50, 720p25)



A = Auflösung in Zeilen, b = Bildaufbauverfahren (i = interlaced, p = progressive), F = Bilder pro Sekunde

• •

720p25 oder 720p= 25fps als Vollbilder 1080i50 = 50fps als Halbbilder

HDTV-Auflösung Hochauflösend, was heißt das in der Praxis

HDTV vs PAL

Quelle: Gierlienger IRT

HDTV vs PAL

Quelle: Gierlienger IRT

HDTV vs PAL

Quelle: Gierlienger IRT

HDTV-Fernseher

• •

Aktuelle Displaytechniken

• •

Flüssigkristall LCD Plasma

viele aktuelle 16:9 Fernseher können nicht jedes HDTV-Pixel darstellen



viele Displays horizontal nur 800-1366 Pixel. Zuwenig für die 1920 horiz. Pixel von HDTV.



spezielle digitale Schnittstelle (HDMI) mit integriertem Kopierschutz (HDCP)

HDTV - Betrachungswinkel

Quelle: Gierlienger IRT

HDTV - Betrachungswinkel

Quelle: Gierlienger IRT

Filmwiedergabe auf einem Fernseher PAL speedup, 3:2 Pulldown,…

Film vs. Video

• • • •

unterschiedliche zeitliche Auflösung 24 fps Vollbilder vs. 25/30 fps mit Halbbildern Lösung 1 - Bildrichtig arbeiten



je Filmbild ein Videobild

Lösung 2 - Zeitrichtig arbeiten



Verteilung weniger Filmbilder auf mehr Videobilder

Was zum Teufel ist 3:2 Pulldown?

• •

Warum?

• •

weil Film und Video so unterschiedlich sind Film 24fps, PAL 25fps (50 Halbbilder), NTSC 30fps (60 Halbbilder)

Film -> NTSC

• •

24,9 % schneller bei 1:1 Abbildung der Frames Lösung:



Filmbilder periodisch wiederholen, um die 24 Bilder auf 30 Bilder zu verteilen

Was zum Teufel ist 3:2 Pulldown?



Telecine

• •

Maschine zum Transfer von Filmmaterial auf Video

• •

projiziert Film auf einen Videosensor der mit 60 fps

Ausgabe D2 Digital Video (zum Senden oder Transfer auf VHS oder DVD) wiederholt Filmbilder nach 3:2 Muster



A,A,A,B,B,C,C,C,D,D,…

3:2 Pulldown & DVD



warum wertvollen DVD-Speicherplatz durch redundante Bilder verschwenden?

• •

gute Frage, muss nicht sein!

• •

das Pulldown erledigt der Player in Echtzeit

typische Hollywood DVDs haben das Bildmaterial mit 24fps gespeichert NTSC-DVDs speichern das Bild im 480i24 Format

• •

720x480 pixel per frame verteilt auf 2 interlaced 720x240 fields

3:2 Pulldown & DVD



Probleme des Pulldown



einige Videoframes bestehen aus zwei Halbbildern, die aus zwei unterschieldichen Filmbilden stammen

Film nach NTSC – “3:2 Pulldown”

• •

Film 24fps vs NTSC 30fps



jedes gerade Filmbild auf drei NTSC-Halbbilder

jedes ungerade Filmbild wird auf zwei NTSCHalbbilder übertragen

Ende