Lyd og video utvikling og læring

 Vi antar først at noen har null grunnlag i lyd og video, og aldri har lært noen kunnskap om digital signalbehandling. Det matematiske grunnlaget er i utgangspunktet videregående nivå, men han er kjent med C / C ++ utvikling, i det minste kjent med kompilering og feilsøking av IDE under en bestemt plattform.

Fokuser på de to open source-prosjektene ffmpeg og webRTC, hovedsakelig å se på videodelen av ffmpeg og lyddelen av webRTC.

Først av alt, start med videodekoding. Dette er den enkleste. Den grunnleggende koden for å ringe ffmpeg-videodekoding er bare rundt 100 linjer. Videoavkoding trenger bare å forstå h.264, 80% + scener er i dette kodingsformatet, forstå grunnleggende H.264 sps pps NAL og andre filformatkonsepter, forstå prinsippet om YUV-bildeformat og forstå konvertering av YUV til RGB , Så du kan gjøre gjengivelse av bilder, du kan oppnå en enkel videospiller. (I utgangspunktet i første etappe)

For å lære om videokoding anbefales det å starte med x264, en enkel samtale til x264-kodingskode er mindre enn 100 linjer. Koding er mer komplisert enn dekoding ved at dekoding ikke krever at noen parametere skal konfigureres, og koding har et stort antall parametere som må konfigureres. I begynnelsen er det bare å forstå noen få grunnleggende begreper, for eksempel bildefrekvens, vanlige strømningsmetoder ABR CRF, GOP, I / B Hva betyr / P Frame henholdsvis. (Bekjent med X264-koding igjen)

Kodeken til lyddelen ligner på videoen. I den innledende fasen trenger du bare å forstå de to koderne EAAC + og Silk, forstå konseptene lydkanal, samplingsfrekvens osv., Og forstå Wave-filformatet. Kan være en enkel lydspiller. (Lag en lydspiller)

Den komplekse delen av lyd er ikke kodeken, men lydeffekten. Ta en titt på Audio Processing-modulen i webRTC og forstå følgende konsepter: denoising NS, echo cancellation AEC, mute detection VAD, automatic gain control AGC, and the innebygd webRTC. Selv om algoritmen ikke er den beste, kan den løse 90% + av problemene, og det er verdt å lære. (Lær webrtc lydbehandling)

Etter å ha lært dette må jeg tenke på et spørsmål, om jeg vil ta en ingeniørvei eller en algoritmisk rute. Hvis det er en algoritmisk rute, må jeg lære matematikk. Bak digital signalbehandling ligger et stort antall grunnleggende matematiske teorier. Hvis det er en teknisk rute, må du lære plattformutvikling, lære innsamling, avspilling og prosessering av lyd og video under flere plattformer, og lære å optimalisere monteringsspråk under flere plattformer. (Plattformrelatert)

Lyd og video er et veldig dypt felt, og du vil aldri fullføre læringen i løpet av livet, men dette feltet har fordelen at hastigheten på kunnskapsoppdateringen er relativt treg, de lærte tingene ikke er enkle å eliminere og akkumulering av erfaring er veldig viktig. v

Vår andre produkt:

Profesjonelt lynbeskyttelsessystem for Tower	Profesjonell FM-radiostasjonsutstyrspakke	FMUSER FU-1000C 1000W FM-sender med USB-lydinngangsgrensesnitt
FMUSER 200W FM-kringkastingspakke	Hotell IPTV-løsning	FMUSER FSN-1000T V5.0 1KW FM-radiosender