9 октября 2004 Поиск статических изображений по содержанию: использование текстового запроса Наталья Васильева
9 октября 2004 Поиск изображений Запрос Картинка- образец Картинка Эскиз Текст Текстовый запрос Поиск по ключевым словам (Description Based Image Retrieval - DBIR) Поиск по содержанию (Content Based Image Retrieval - CBIR)
9 октября 2004 CBIR : традиционный подход индексация поиск вычисление сигнатур база данных вычисление сигнатур сравнение результат изображение запрос уточнение запроса
9 октября 2004 Основные проблемы Семантический разрыв Сложность процесса визуального восприятия Точность моделей – время обработки запроса Комбинирование различных моделей и метрик
9 октября 2004 Основные цели Запрос на естественном языке Согласованность с особенностями человеческого восприятия Уменьшение затрат на индексирование Построение модели изображения, включающей цветовые и текстурные характеристики
9 октября 2004 Архитектура системы (I) I. ПодготовкаII. ИндексацияIII. Поиск I. Подготовка Выборка небольшого подмножества Кластеризация выбранного подмножества Вычисление средних характеристик для каждого кластера Описание кластеров с помощью ключевых слов Пляж, море, песчаный берег, пальмы, природа, …
9 октября 2004 Архитектура системы (II) II. Индексация Вычисление сигнатур для всех изображений в базе Классификация изображений базы по созданным кластерам – сравнение характеристик отдельно взятого изображения со средними характеристиками кластеров
9 октября 2004 Архитектура системы (II) III. Поиск текстовый запрос Определение кластера n изображений из кластера Оценка результата оценка результата, запрос-образец результат уточненный запрос … Уточнение кластеров, поиск по содержанию Система Оценка результата Пользователь
9 октября 2004 Модель изображения S(color, size, x, y) color – усредненный цвет пятна; size – размер цветового пятна (%); x, y – координаты центра пятна; Допущения: 32 цветовых отрезка Цвет учитывается, если > 3%
9 октября 2004 Примеры (1)
9 октября 2004 Примеры (2)
9 октября 2004 Примеры (3)
9 октября 2004 Примеры (4)
9 октября 2004 Недостатки Выбор цветовых отрезков В зависимости от изображения Порог значимости цвета Эксперименты, в зависимости от количества других цветов Вычисление центра пятна Сегментация Форма пятна Направленный элипс
9 октября 2004 Особенности восприятия человеком Нелинейное восприятие цвета Нелинейная зависимость от яркости Ориентация и расположение объектов Другие ?
9 октября 2004 В дальнейшем: Политика реорганизации кластеров в зависимости от оценок пользователя Усложнение модели изображения, вероятностная модель? Совместная оценка цвета и яркости (сейчас только цвет) Сегментация изображений, построение кластеров по сегментам
9 октября 2004 Спасибо! Наталья Васильева