M ULTIMEDIA Solomeshch Natalya

К ОДИРОВАНИЕ ОБЛАСТЕЙ ПРОИЗВОЛЬНОЙ ФОРМЫ ОСНОВНОЙ ПРОФИЛЬ чересстрочная развертка; объектно-ориентированное кодирование с «серой» (градуированной) формой («альфа-плоскостью»); кодирование «спрайтов» «Спрайтом» называется видео объект (задний плана или фон), который полностью или частично передается в начале сцены и который может слегка меняться во время отображения на видео сцене.

К ОДИРОВАНИЕ ОБЛАСТЕЙ ПРОИЗВОЛЬНОЙ ФОРМЫ ОСНОВНОЙ ПРОФИЛЬ Г РАДУИРОВАННОЕ КОДИРОВАНИЕ ФОРМЫ Бинарный носитель маски Градуированная альфа-плоскость

К ОДИРОВАНИЕ ОБЛАСТЕЙ ПРОИЗВОЛЬНОЙ ФОРМЫ ОСНОВНОЙ ПРОФИЛЬ СТАТИЧЕСКОЕ КОДИРОВАНИЕ “ СПРАЙТОВ ” Статическим «спрайтом» называется текстурное изображение, которое может перемещаться и деформироваться только в некоторых ограниченных пределах. «Спрайт» заднего плана и три разных «взгляда» видеокамеры.

К ОДИРОВАНИЕ ОБЛАСТЕЙ ПРОИЗВОЛЬНОЙ ФОРМЫ ОСНОВНОЙ ПРОФИЛЬ СТАТИЧЕСКОЕ КОДИРОВАНИЕ “ СПРАЙТОВ ” Базовый “спрайт” - передается целиком в начале видеопоследовательности “Спрайт” с малой задержкой по времени – обновляется по ходу передачи видеоряда

К ОДИРОВАНИЕ ОБЛАСТЕЙ ПРОИЗВОЛЬНОЙ ФОРМЫ ПРОФИЛЬ ПОВЫШЕННОЙ СТЕПЕНИ СЖАТИЯ (A DVANCED C ODING E FFICIENCY ) Прогноз компенсации движения с точностью в четверть пиксела; GMC (Global Motion Compensation); Чересстрочная развертка; Градуированное кодирование формы; Адаптированное к форме преобразование DCT ( SA-DCT, Shape- Adaptive DCT ) 1. Сдвинуть непрозрачные величины X блока 8x8 вверх. 2. Применить одномерное DCT к каждому столбцу (число точек преобразования совпадает с числом непрозрачных величин в каждом столбце). 3. Полученные промежуточные коэффициенты Y сдвинуть влево. 4. Применить одномерное DCT к каждой строке (с совпадением по числу значений в каждой строке).

К ОДИРОВАНИЕ ОБЛАСТЕЙ ПРОИЗВОЛЬНОЙ ФОРМЫ N- БИТОВЫЙ ПРОФИЛЬ Предоставляет дополнительные инструменты для работы со словами из N-бит, которые позволяют представлять цветовые компоненты (яркость и хроматичность) с глубиной от 4 до 12 бит на сэмпл (вместо стандартных 8 бит). Применяется при кодировании видео для дисплеев с низкой глубиной цветопередачи (менее 8 бит на сэмпл) и для высококачественных дисплеев с большой глубиной цветопередачи (где цветовые компоненты имеют глубину больше 8 бит на сэмпл и следовательно, требуется высокая точность воспроизведения цвета)

М АСШТАБИРУЕМОЕ ВИДЕОКОДИРОВАНИЕ Пространственное масштабирование Временное масштабирование Мелкозернистая масштабируемость (Fine Grain Scalability)

М АСШТАБИРУЕМОЕ ВИДЕОКОДИРОВАНИЕ П РОСТРАНСТВЕННОЕ МАСШТАБИРОВАНИЕ Кодирование: 1. Сделать подcэмплирование каждого входного кадра(или видео объекта) по горизонтали и вертикали используя укрупненные сэмплы. 2. Кодировать кадры с сокращенным разрешением для формирования базового слоя. 3. Декодировать базовый слой и сделать измельчающее сэмплирование до исходного разрешения для нахождения кадра-прогноза

М АСШТАБИРУЕМОЕ ВИДЕОКОДИРОВАНИЕ П РОСТРАНСТВЕННОЕ МАСШТАБИРОВАНИЕ 4. Вычесть исходный кадр с полным разрешением из кадра- прогноза. 5. Кодировать полученную разность (остаток) для получения улучшающего слоя. Декодирование: 1. Декодировать базовый слой и сделать измельчающее сэмплирование до исходного разрешения. 2. Декодировать улучшающий слой. 3. Сложить декодированный остаток из улучшающего слоя и декодированный базовый слой для получения требуемого выходного видеоряда.

М АСШТАБИРУЕМОЕ ВИДЕОКОДИРОВАНИЕ В РЕМЕННОЕ МАСШТАБИРОВАНИЕ

М АСШТАБИРУЕМОЕ ВИДЕОКОДИРОВАНИЕ М ЕЛКОЗЕРНИСТАЯ МАСШТАБИРУЕМОСТЬ (F INE G RAIN S CALABILITY ) Кодирование: 1. Найти старший (ненулевой) битовый разряд среди всех остаточных коэффициентов кадра. 2. Кодировать каждую битовую плоскость, как описано выше, начиная с битовой плоскости старшего разряда.

М АСШТАБИРУЕМОЕ ВИДЕОКОДИРОВАНИЕ М ЕЛКОЗЕРНИСТАЯ МАСШТАБИРУЕМОСТЬ (F INE G RAIN S CALABILITY ) Декодирование:

М АСШТАБИРУЕМОЕ ВИДЕОКОДИРОВАНИЕ М ЕЛКОЗЕРНИСТАЯ МАСШТАБИРУЕМОСТЬ ПРОФИЛИ Простой масштабируемы профиль 1. Объекты I-VOP, P-VOP, 4MV, неограниченный MV и прогнозирование в моде intra; 2. Видео пакеты, разделение данных и обратимые коды VLC; 3. Объекты B-VOP; 4. Прямоугольное временное масштабирование (один улучшающий слой); 5. Прямоугольное пространственное масштабирование; (один улучшающий слой) Базовый масштабируемый профиль 1. Прямоугольное временное масштабирование (один улучшающий слой); 2. Прямоугольное пространственное масштабирование (один улучшающий слой); 3. Объектно-ориентированное пространственное масштабирование Профиль мелкозернистой масштабируемости 1. В-VOP, чересстрочная развертка и модуль альтернативного квантователя; 2. Пространственное масштабирование FGS; 3. Временное масштабирование FGS.

К ОДИРОВАНИЕ ВИДЕО СТУДИЙНОГО КАЧЕСТВА

К ОДИРОВАНИЕ ВИДЕО СТУДИЙНОГО КАЧЕСТВА П РОСТОЙ СТУДИЙНЫЙ ПРОФИЛЬ Формат источника Преобразование и квантование Кодирование формы Слои Заголовки

К ОДИРОВАНИЕ ВИДЕО СТУДИЙНОГО КАЧЕСТВА Б АЗОВЫЙ СТУДИЙНЫЙ ПРОФИЛЬ В этом профиле добавлена поддержка «спрайтов» и P-VOP к инструментам простого студийного профиля. Кодирование «спрайтов» модифицировано расширением параметров контролирования трансформаций «спрайтов», чтобы они еще больше походили на съемку «реальной» видеокамерой, например имитируя дисторсию объектива. Компенсация движения и векторы движения при кодировании объектов P-VOP изменены для совместимости с синтаксисом стандарта MPEG-2.

К ОДИРОВАНИЕ СИНТЕТИЧЕСКИХ СЦЕН Анимированное сеточное кодирование (Synthetic Natural Hybrid Coding, SNHC, гибридное синтетическое и натуральное кодирование) Анимация лиц и фигур (FBA, Face and Body Animation)

В ЫВОДЫ Стандарт MPEG-4 Visual поддерживает кодирование и представление визуальных объектов с эффективной компрессией и беспримерной гибкостью. Разнообразный арсенал инструментов кодирования, описанных в стандарте, дает возможность поддерживать широкий диапазон приложений, таких как эффективное сжатие видеокадров, видеокодирование для передачи по ненадежным сетям связи, объектно-ориентированное кодирование и манипуляция, кодирование синтетических и «гибридных» искусственных/натуральных сцен и высокоинтерактивных видеокоммуникаций. Стандарт MPEG-4 продолжает развиваться с: добавлением новых инструментов (например, профилей, поддерживающих потоковое видео). Однако среди разработчиков и производителей самыми популярными элементами MPEG-4 до последнего времени оставались простой и простой расширенный профили. Кроме того, все яснее проявляется возросшая потребность видеоиндустрии в еще более эффективном кодировании видео прямоугольных форматов. Эта потребность вместе с затянувшимся периодом неопределенности в связи с патентами и лицензированными выпусками MPEG-4 Visual означает, что новый стандарт Н.264 имеет неплохие шансы обойти на видеорынке стандарт MPEG-4 Visual.