Betydningen av videokoding
Stor lagringsplass for originale videodata, en 1080P 7 s-video krever 817 MB
Den opprinnelige videodatatransmisjonen har en stor båndbredde, og det tar 11 minutter å overføre videoen over 7 s med en båndbredde på 10 Mbps
Etter H.264-koding og komprimering er videostørrelsen bare 708 k, og båndbredden på 10 Mbps trenger bare 500 ms, som kan dekke behovene for sanntidsoverføring. Derfor må den originale videoen som er samlet inn fra videosamlerensensoren være videokodet.
Fundamental
Så hvorfor kan en enorm original video kodes til en veldig liten video? Hva er teknologien i dette? Før vi snakker om teknologi, bør vi først etablere konseptet med video som er kontinuerlige bilder.
Kjerneideen er å fjerne overflødig informasjon:
Romlig redundans: det er en sterk sammenheng mellom tilstøtende piksler i et bilde
Temporal redundans: lignende innhold mellom tilstøtende bilder i en videosekvens
Koderedundans: forskjellige pikselverdier har forskjellige sannsynligheter
Visuell redundans: det menneskelige visuelle systemet er ikke følsomt for visse detaljer
Kunnskapsredundans: strukturen av regelmessighet kan fås fra forkunnskaper og bakgrunnskunnskap
Video er egentlig en serie bilder som spilles kontinuerlig og raskt, så den enkleste måten å komprimere en video på er å komprimere hvert bilde. For eksempel er den eldre MJPEG-kodingen å komprimere hver bilderamme i videoen. Denne kodingsmetoden Det er bare koding innen rammen, som bruker prediksjonsprediksjon for å kode. Bildemetaforen er å behandle hver ramme som et bilde, og bruke JPEG-kodingsformatet til å komprimere bildet. Denne typen koding tar bare i betraktning komprimering av overflødig informasjon i et bilde.
På grunn av tidskorrelasjonen mellom rammer er det imidlertid utviklet noen avanserte kodere som kan bruke koding mellom rammer. Enkelt sagt, visse områder på rammen velges gjennom søkealgoritmen, og deretter beregnes den nåværende rammen. Det er en form for koding med vektorforskjellen mellom de fremre og bakre referanserammene. Gjennom de to påfølgende rammene i figur 2 kan vi se at skiløperen forskyver seg fremover, men faktisk snøbildet skifter bakover, og det refereres til P-rammen. Rammer (I eller andre P-rammer) kan kodes, størrelsen etter koding er veldig liten, og kompresjonsforholdet er veldig høyt.
Referanselink om rammen http://mp.weixin.qq.com/s/ox6MsWx71b-GFsZihaOwww
Noen studenter kan være interessert i hvordan disse to bildene kom fra. Her er to linjer med FFmpeg-kommandoer å oppnå. For mer informasjon om FFmpeg, se følgende kapitler:
Første linje genererer en video med en bevegelig vektor
Den andre linjen viser hver ramme som et bilde
Bruk kommandoen
ffmpeg -flags2 + export_mvs -i tutu.mp4 -vf codecview = mv = pf + bf + bb tutudebug2.mp4
ffmpeg -i tutudebug2.mp4'tutunormal-% 03d.bmp '
I tillegg til romlig redundans og tidsmessig redundanskompresjon, er det hovedsakelig kodende kompresjon og visuell komprimering. Følgende er hovedflytskjemaet til en koder:
Figur 3 og figur 4 er to prosesser. Figur 3 er koding innenfor rammen, og figur 4 er koding mellom rammer. Hovedforskjellen sett fra figuren er at det første trinnet er annerledes. Faktisk er disse to prosessene også kombinert. Generelt bruker jeg ramme- og P-ramme henholdsvis intra-rammekoding og inter-rammekoding.
Valg av kode
Jeg har sortert ut prinsippet og grunnleggende prosess for koderen. Koderen har opplevd flere tiår med utvikling. Den har utviklet seg fra å bare støtte koding innen rammen til den nye generasjonen kodere representert av H.265 og VP9 i dag. For tiden er noen vanlige kodere analysert, og vi tar deg med på å utforske koderenes verden.
H.264
Introduksjon
H.264 / AVC-prosjektet har til hensikt å lage en videostandard. Sammenlignet med den gamle standarden kan den gi video av høy kvalitet med lavere båndbredde (med andre ord bare halvparten av båndbredden til MPEG-2, H.263 eller MPEG-4 del 2 eller mindre) uten å legge for mye designkompleksitet det er umulig å oppnå eller kostnadene ved implementeringen er for høye. Et annet formål er å gi tilstrekkelig fleksibilitet til å brukes i forskjellige applikasjoner, nettverk og systemer, inkludert høy og lav båndbredde, høye og lave videooppløsninger, kringkasting, DVD-lagring, RTP / IP-nettverk og ITU-T multimedietelefonsystem.
H.264 / AVC inneholder en rekke nye funksjoner, noe som gjør den ikke bare mer effektiv enn tidligere kodeker, men kan også brukes i applikasjoner i forskjellige nettverksmiljøer. Dette tekniske fundamentet gjør at H.264 blir den viktigste kodeken som brukes av online videoselskaper, inkludert YouTube, men det er ikke veldig lett å bruke det. I teorien krever bruk av H.264 mye penger. Patentavgifter.
Patentlisens
I likhet med første og andre del av MPEG-2 og andre del av MPEG-4, må produktprodusenter og tjenesteleverandører som bruker H.264 / AVC betale patentlisensavgifter til patentinnehavere. Hovedkilden til disse patentlisensene er en privat organisasjon kalt MPEG-LA LLC. Denne organisasjonen har ingenting å gjøre med MPEG-standardiseringsorganisasjonen, men denne organisasjonen administrerer også MPEG-2 Part One System, Part Two Video og MPEG-4 Part One. To-delte lisenser for video og andre teknologipatenter.
Andre patentlisenser må gjelde for en annen privat organisasjon som heter VIA Licensing, som også administrerer patentlisenser for lydkomprimeringsstandarder som MPEG-2 AAC og MPEG-4 Audio.
Åpen kildekode implementering av H.264
openh264 er et open source H.264 kodingsprogram implementert av Cisco. Selv om H.264 krever høy patentavgift, er det en årlig grense for patentavgiften. Etter at Cisco har betalt det årlige patentgebyret for OpenH264, er OpenH264 faktisk gratis. Bruk det fritt.
x264 er en videokodende gratis programvare lisensiert under GPL. Hovedfunksjonen til x264 er å utføre H.264 / MPEG-4 AVC-videokoding, ikke som en dekoder.
Ekskluderer kostnadsproblemet til sammenligning
CPU-bruken av openh264 er mye lavere enn for x264
openh264 støtter bare grunnlinjeprofil, x264 støtter flere profiler
HEVC / H.265
Introduksjon
High Efficiency Video Coding (HEVC) er en videokomprimeringsstandard (også kalt H.265), som regnes som etterfølgeren til ITU-T H.264 / MPEG-4 AVC-standarden. I 2004 begynte ISO / IEC Moving Picture Experts Group (MPEG) og ITU-T Video Coding Experts Group (VCEG) å utvikle seg som ISO / IEC 23008-2 MPEG-H Part 2 eller ITU-T H.265. Den første versjonen av HEVC / H.265-videokomprimeringsstandarden ble akseptert som den offisielle standarden for International Telecommunication Union (ITU-T) 13. april 2013. HEVC anses ikke bare for å forbedre videokvaliteten, men også for å oppnå to ganger kompresjonsfrekvensen til H.264 / MPEG-4 AVC (tilsvarer en 50% reduksjon i bithastighet under samme bildekvalitet), og kan støtte 4K-oppløsning og til og med ultra-high-definition TV (UHDTV), den høyeste oppløsningen kan nå 8192 × 4320 (8K oppløsning).
Patentlisens
HEVC krever at alle innholdsprodusenter som bruker H.265-teknologi, inkludert Apple, YouTube, Netflix, Facebook og Amazon, må betale 0.5% av innholdsinntektene som et gebyr for teknologibruk. Hele strømmemediemarkedet når rundt 100 milliarder amerikanske dollar hvert år, og det fortsetter å. I veksten er avgiften på 0.5% definitivt en enorm avgift. Og de har ikke sluppet utstyrsprodusenter, blant hvilke TV-produsenter trenger å betale 1.5 amerikanske dollar per enhet og produsenter av mobile enheter 0.8 amerikanske dollar per enhet i patentavgift. De har ikke en gang sluppet produsenter som Blu-ray-enhetsspillere, spillkonsoller og videoopptakere, som må betale $ 1.1 hver.
Åpen kildekode implementering av H.265 / HEVC
libde265 HEVC leveres av strukturfirmaet under åpen kildekode-lisens GNU Lesser General Public License (LGPL), og seere kan nyte bilder av høyeste kvalitet ved lavere internetthastigheter. Sammenlignet med tidligere dekodere basert på H.264-standarden, kan libde265 HEVC-dekoderen bringe full HD-innhold til opptil dobbelt så mye publikum, eller redusere båndbredden som kreves for streaming med 50%.
x265 er utviklet av MulticoreWare og er åpen fra GPL-avtalen.
VP8
Introduksjon
VP8 er et åpent videokomprimeringsformat som først ble utviklet av On2 Technologies og deretter utgitt av Google. Samtidig ga Google også ut det VP8-kodede implementeringsbiblioteket: libvpx, som ble utgitt i form av BSD-lisensvilkår, og la deretter til retten til å bruke patentet. Etter noen argumenter ble autorisasjonen til VP8 endelig bekreftet som en åpen kildekode-autorisasjon.
For tiden er nettleserne som støtter VP8 Opera, Firefox og Chrome.
Patentlisens
I mars 2013 nådde Google en avtale med MPEG LA og 11 patenthavere om å tillate Google å skaffe seg VP8 og dets tidligere VPx og andre kodinger som kan være krenket mot patenter. Samtidig kan Google også godkjenne relaterte patenter på nytt til VP8-brukere gratis. , Denne avtalen er også egnet for neste generasjon VPx-koding. Så langt har MPEG LA gitt opp etableringen av den patentsentraliserte lisensieringsalliansen VP8, og VP8-brukere vil kunne bestemme seg for å bruke denne koden gratis uten å bekymre seg for eventuelle patentkrenkelser.
Open source implementering av VP8
Libvpx er den eneste open source-implementeringen av VP8. Den ble utviklet av On2 Technologies. Etter at Google kjøpte den, åpnet den kildekoden. Lisensen er veldig løs og kan brukes fritt.
VP9
Introduksjon
Utviklingen av VP9 startet i tredje kvartal 2011. Målet er å redusere filstørrelsen med 50% sammenlignet med VP8-koding under samme bildekvalitet. Et annet mål er å overgå HEVC-koding i kodingseffektivitet.
13. desember 2012 la Chromium-nettleseren til støtte for VP9-koding. Chrome-nettleseren begynte å støtte VP9-kodet videoavspilling 21. februar 2013.
Google kunngjorde at de vil fullføre utviklingen av VP9-koden 17. juni 2013, når Chrome-nettleseren vil lede VP9-koden som standard. 18. mars 2014 la Mozilla til VP9-støtte i Firefox-nettleseren.
3. april 2015 ga Google ut libvpx1.4.0, som la til støtte for 10-biters og 12-biters dybde, 4: 2: 2 og 4: 4: 4 chroma sampling, og VP9 multi-core koding / dekoding.
Patentlisens
VP9 er et åpent format, royaltyfritt videokodingsformat.
Open source implementering av VP9
libvpx er den eneste open source-implementeringen av VP9, utviklet og vedlikeholdt av Google. Noen av kodene deles av VP8 og VP9, og resten er kodekimplementeringene av henholdsvis VP8 og VP9.
Sammenligning av VP9 og H.264 og HEVC
Sammenligning av HEVC og H.264 i forskjellige oppløsninger
Sammenlignet med H.264 / MPEG-4 er den gjennomsnittlige reduksjonshastigheten for HEVC:
Det kan sees at bithastigheten har falt med mer enn 60%
HEVC (H.265) har en større fordel i bithastighetsbesparelse for VP9 og H.264, og sparer henholdsvis 48.3% og 75.8% under samme PSNR
H.264 har en stor fordel i kodingstid. Sammenlignet med VP9 og HEVC (H.265) er HEVC 6 ganger så stor som VP9, og VP9 er nesten 40 ganger så høy som for H.264.
