Institut für Informationsverarbeitung, Two-dimensional Non-separable Adaptive Wiener Interpolation Filter for H.264/AVC Yuri Vatis Institut für Informationsverarbeitung, Universität Hannover ITG-FA 3.2, 23.06.2005

Motion Compensated Prediction Adaptive Interpolation Filter Outline Introduction Motion Compensated Prediction Adaptive Interpolation Filter Experimental Results Conclusion

Introduction Hybrid Video Encoder: Video input Bitstream + S T Quant e(t) S T Quant EC - T-1 + + S MCP z -1 d(t) s’(t-1) ME

Motion Compensated Prediction (MCP) d(t) Für die bewegungskompensierende Prädiktion braucht man eine Bewegungsschätzung, die hier veranschaulicht wird. Das aktuelle Bild wird zuerst in Blöcke zerlegt. Jeder Block wird dann im Vorgängerbild gesucht. Falls man einen geeigneten Kandidatenblock findet, kann ein Displacementvektor definiert werden, der der Position des Blockes relativ zum Referenzblock im aktuellen Bild entspricht. Bei der Prädiktion berechnet man später die Differenz zwischen jedem Referenzblock und dem korrespondierenden Block. s‘(t-1) s(t) reference block block to code

Motion Compensated Prediction (MCP) MCP with fractional-pel Motion Vector Resolution i Prediction is distorted by: 1. Aliasing in s(t) and s’(t-1) 2. Displacement estimation errors of d(t) 3. Quantisation errors in s’(t-1) 4. etc.  The distortions depend on the motion and content of the video signal j d(t) Die Displacementvektoren haben in den heutigen Standards eine Auflösung von weniger als einem Bildpunkt. Das heißt, für einen Block kann der jeweilige Displacementvektor auf Punkten des Vorgängerbilds zeigen, die zwischen dem Abtastraster liegen. Diese werden als “SubPEL” bezeichnet. Bei der Prädiktion wird wie vorher die Differenz zwischen Referenzblock und korrespondierendem Block berechnet; hier, z.B. zwischen diesem Bildpunkt [zeigen] und diesem SubPEL [zeigen] und so weiter... Bei der Bewegungsschätzung kann ein so gennanter Displacementschätzfehler aus verschiedenen Gründen entstehen: wegen der beschränkten Genauigkeit der Displacementvektoren, wegen einer unvollkommenen Suche des Kandidatenblocks usw. Dieser Fehler bedeutet, dass anstatt der “richtigen” SubPEL andere SubPEL verwendet werden, und die Prädiktion wird schlechter. Das spielt später eine wichtige Rolle beim Entwurf der neuen Filter. Für die genauere Auflösung der Displacementvektoren muss man zuerst eine Interpolation des Vorgängerbilds berechnen, wie... s’(t-1) s(t) reference block block to code  image signal on sub-pel positions has to be generated by interpolation

2D non-separable Adaptive Interpolation Filter Analytical design of a non-separable adaptive 2D interpolation filter. Goal: Prediction (and not just interpolation) of picture elements by minimising prediction error energy. Reduction of aliasing and blurring effects, motion estimation errors. Properties: Symmetric, non-separable 6x6-tap filter. Filter coefficients are calculated analytically once per frame with respect to all reference frames.

Adaptive Interpolation Filter Value ( ) to be interpolated: where is an integer sample value ( ) and are filter coefficients for sub-pel position SP

Analytical Calculation of Filter Coefficients The calculation of coefficients and the motion compensation are performed in the following 3 steps: Displacement vectors are estimated for every image to be coded (standard interpolation filter is used). Independent calculation of 2D filter coefficients for each sub-pel position by minimisation of the prediction error energy: with

Analytical Calculation of Filter Coefficients Estimation of new displacement vectors (applying the adaptive interpolation filter computed in 2). Reducing motion estimation errors, caused by aliasing, camera noise etc. Treating the problem in the rate-distortion sense. The software was declared as a VCEG KTA-Software

Quantisation and Coding of Filter Coefficients Quantisation with 8 bits (magnitude). Required side information for filter coefficients @30 fps ( [VCIP05] ): PCM VCIP05 14.6 kbit/s 3-10 kbit/s

Results CIF ( HDTV) ProfileIDC 100 QPISlice 23, 27, 31, 35 IntraPeriod   CIF ( HDTV) ProfileIDC 100 QPISlice 23, 27, 31, 35 IntraPeriod QPPSlice 24, 28, 32, 36 NumberBFrames 3 QPBSlice 25, 29, 33, 37 BReferencePictures 1 PyramidCoding PyramidLevelQPEnable SearchRange 32 (64) NumberReferenceFrames 5 (3) SymbolMode AdaptiveRounding Transform8x8

Concrete, CIF, 400 Frames @ 30 fps

Crew, HDTV(720p), 20 Frames @ 60 fps

Raven, HDTV(720p), 40 Frames @ 60 fps

Sunflower, HDTV(1080p), 100 Frames @ 25 fps

Average of 12% bit rate savings compared to the standard H.264/AVC Conclusions Average of 12% bit rate savings compared to the standard H.264/AVC Slightly increased decoder complexity Number of operations needed for interpolation is increased Suitable for 24-bit arithmetic