Complexity-Aware Advanced Visual Computing for Multi-View Video (Complexiteitsgevoelige geavanceerde visuele verwerking van multi-viewvideo)

Publication date: 2009-08-31

Author:

Lu, Jiangbo
Catthoor, Francky

Abstract:

Door het verbeteren van de prestaties en gebruikerservaring boven dat wa t al aangeboden wordt door traditionele video met een enkele camera, hee ft multicamera-video (MCV) recent veel aandacht getrokken. MCV verwijst naar een verzameling van temporeel gesynchroniseerde videostromen die ge produceerd worden door camera's die dezelfde reële wereldscène vastlegge n vanuit verschillende gezichtspunten. De beschikbaarheid van meerdere s cènestandpunten verbreedt de toepasbaarheid significant. Interactieve st andpuntselectie en drie-dimensioneel dieptezicht van de geobserveerde sc ène zijn de twee meest belangrijke nieuwe functionaliteiten die de MCV-t echnologie verstrekt. Om deze functionaliteiten te realiseren in praktis che applicaties, moeten echter eerst een aantal functionele componenten in de verwerkingsketen van MCV op een efficiente wijze ontworpen worden. In een praktisch MCV-systeem zijn daarom de kritische onderzoeksaspecte n die typisch moeten behandeld worden: multicamera videocompressie, diep tekaartinschatting (stereocorrespondentie) en fotorealistische synthese van virtuele camerastandpunten. Het doel van deze doctoraatsthesis is het ontwikkelen van een verzamelin g kost-effectieve visuele verwerkingstechnologieën die de typische uitda gingen behandelen, welke fundamenteel zijn voor een variëteit van geavan ceerde multicameratoepassingen. Een belangrijk verschil tussen dit docto raatswerk en eerder uitgevoerde onderzoeksactiviteiten is: gegeven hetze lfde beschikbare platform, mikken wij op innovatieve oplossingen die de huidige technieken significant overtreffen in termen van executiesnelhei d, terwijl nog steeds een gelijkaardige (of zelfs betere) functionele kw aliteit of performantie behaald wordt. Om dit uitdagende ontwerpdoel in een systematische manier te behalen, he eft deze thesis twee verzamelingen van hoog-niveau principes opgesteld v oor het ontwerpen van efficiënte visuele verwerkingsalgoritmen, nl., app licatiegedreven algoritme- en architectuurbewuste ontwerpprincipes. Geba seerd op deze principes, bevat deze thesis enkele belangrijke contributi es, hoofdzakelijk gesitueerd in vier onderzoeksonderwerpen in de context van MCV: 1) efficiënte temporele bewegingsvideocodering gebaseerd op de meest interessante regio's, 2) efficiënte epipolaire geometriegeb aseerde dispariteitschatting voor multicamera beeldcodering, 3) hoge sne lheid stroomcentrische stereocorrespondentie en beeldsynthese op GPU's e n 4) efficiënte hoog-kwalitatieve stereocorrespondentie die gebruik maak t van lokaal adaptieve beeldbenadering. Elk van deze onderwerpen verhelp t een specifieke algoritmische uitdaging met verschillende vereisten. De ze thesis heeft ruimschoots aangetoond dat de voorgestelde algoritmen fu nctioneel competitief en computationeel efficiënt zijn.