9 октября 2004 Поиск статических изображений по содержанию: использование текстового запроса Наталья Васильева

9 октября 2004 Поиск изображений Запрос Картинка- образец Картинка Эскиз Текст Текстовый запрос  Поиск по ключевым словам (Description Based Image Retrieval - DBIR)  Поиск по содержанию (Content Based Image Retrieval - CBIR)

9 октября 2004 CBIR : традиционный подход индексация поиск вычисление сигнатур база данных вычисление сигнатур сравнение результат изображение запрос уточнение запроса

9 октября 2004 Основные проблемы  Семантический разрыв  Сложность процесса визуального восприятия  Точность моделей – время обработки запроса  Комбинирование различных моделей и метрик

9 октября 2004 Основные цели  Запрос на естественном языке  Согласованность с особенностями человеческого восприятия  Уменьшение затрат на индексирование  Построение модели изображения, включающей цветовые и текстурные характеристики

9 октября 2004 Архитектура системы (I) I. ПодготовкаII. ИндексацияIII. Поиск I. Подготовка  Выборка небольшого подмножества  Кластеризация выбранного подмножества  Вычисление средних характеристик для каждого кластера  Описание кластеров с помощью ключевых слов Пляж, море, песчаный берег, пальмы, природа, …

9 октября 2004 Архитектура системы (II) II. Индексация  Вычисление сигнатур для всех изображений в базе  Классификация изображений базы по созданным кластерам – сравнение характеристик отдельно взятого изображения со средними характеристиками кластеров

9 октября 2004 Архитектура системы (II) III. Поиск текстовый запрос Определение кластера n изображений из кластера Оценка результата оценка результата, запрос-образец результат уточненный запрос … Уточнение кластеров, поиск по содержанию Система Оценка результата Пользователь

9 октября 2004 Модель изображения S(color, size, x, y)  color – усредненный цвет пятна;  size – размер цветового пятна (%);  x, y – координаты центра пятна; Допущения:  32 цветовых отрезка  Цвет учитывается, если > 3%

9 октября 2004 Примеры (1)

9 октября 2004 Примеры (2)

9 октября 2004 Примеры (3)

9 октября 2004 Примеры (4)

9 октября 2004 Недостатки  Выбор цветовых отрезков  В зависимости от изображения  Порог значимости цвета  Эксперименты, в зависимости от количества других цветов  Вычисление центра пятна  Сегментация  Форма пятна  Направленный элипс

9 октября 2004 Особенности восприятия человеком  Нелинейное восприятие цвета  Нелинейная зависимость от яркости  Ориентация и расположение объектов  Другие ?

9 октября 2004 В дальнейшем:  Политика реорганизации кластеров в зависимости от оценок пользователя  Усложнение модели изображения, вероятностная модель?  Совместная оценка цвета и яркости (сейчас только цвет)  Сегментация изображений, построение кластеров по сегментам

9 октября 2004 Спасибо! Наталья Васильева