1. 9 октября 2004 Поиск статических изображений по содержанию: использование текстового запроса Наталья Васильева Natalia.Vassilieva@t-systems.ru

2. 9 октября 2004 Поиск изображений Запрос Картинка- образец Картинка Эскиз Текст Текстовый запрос  Поиск по ключевым словам (Description Based Image Retrieval - DBIR)  Поиск по содержанию (Content Based Image Retrieval - CBIR)

3. 9 октября 2004 CBIR : традиционный подход индексация поиск вычисление сигнатур база данных вычисление сигнатур сравнение результат изображение запрос уточнение запроса

4. 9 октября 2004 Основные проблемы  Семантический разрыв  Сложность процесса визуального восприятия  Точность моделей – время обработки запроса  Комбинирование различных моделей и метрик

5. 9 октября 2004 Основные цели  Запрос на естественном языке  Согласованность с особенностями человеческого восприятия  Уменьшение затрат на индексирование  Построение модели изображения, включающей цветовые и текстурные характеристики

6. 9 октября 2004 Архитектура системы (I) I. ПодготовкаII. ИндексацияIII. Поиск I. Подготовка  Выборка небольшого подмножества  Кластеризация выбранного подмножества  Вычисление средних характеристик для каждого кластера  Описание кластеров с помощью ключевых слов Пляж, море, песчаный берег, пальмы, природа, …

7. 9 октября 2004 Архитектура системы (II) II. Индексация  Вычисление сигнатур для всех изображений в базе  Классификация изображений базы по созданным кластерам – сравнение характеристик отдельно взятого изображения со средними характеристиками кластеров

8. 9 октября 2004 Архитектура системы (II) III. Поиск текстовый запрос Определение кластера n изображений из кластера Оценка результата оценка результата, запрос-образец результат уточненный запрос … Уточнение кластеров, поиск по содержанию Система Оценка результата Пользователь

9. 9 октября 2004 Модель изображения S(color, size, x, y)  color – усредненный цвет пятна;  size – размер цветового пятна (%);  x, y – координаты центра пятна; Допущения:  32 цветовых отрезка  Цвет учитывается, если > 3%

10. 9 октября 2004 Примеры (1)

11. 9 октября 2004 Примеры (2)

12. 9 октября 2004 Примеры (3)

13. 9 октября 2004 Примеры (4)

14. 9 октября 2004 Недостатки  Выбор цветовых отрезков  В зависимости от изображения  Порог значимости цвета  Эксперименты, в зависимости от количества других цветов  Вычисление центра пятна  Сегментация  Форма пятна  Направленный элипс

15. 9 октября 2004 Особенности восприятия человеком  Нелинейное восприятие цвета  Нелинейная зависимость от яркости  Ориентация и расположение объектов  Другие ?

16. 9 октября 2004 В дальнейшем:  Политика реорганизации кластеров в зависимости от оценок пользователя  Усложнение модели изображения, вероятностная модель?  Совместная оценка цвета и яркости (сейчас только цвет)  Сегментация изображений, построение кластеров по сегментам

17. 9 октября 2004 Спасибо! Наталья Васильева Natalia.Vassilieva@t-systems.ru