Fast Template Matching in Non-Linear Tone-Mapped Images _ICCV_2011_oral Eyal David Current: Software development at Intel Corporation. at Intel Corporation Past: teaching assistant at University of Haifa Military service in the Mamram unit Education: University of Haifa University of Haifa Yacov Hel-Or Current: Professor at The Interdisciplinary Center, Herzliya Past: Research Engineer at Hewlett- Packard Labs Post-Doc at NASA Ames Research Center Post-Doc at Weizmann Institute of Science Education: The Hebrew University Hagit Hel-Or Department of Computer Science University of Haifa ISRAEL

背景和摘要 一般方法复习 本文思路、创新点 实验结果和不足

背景 模板或者模式匹配 是图像操作中最基 本和基础的问题。 但是由于光照不同、 相机参数不同、拍 摄角度不同甚至因 为拍摄器材而导致 的模态不同都给匹 配带来困难。

摘要 提出一种称作 Matching by Tone Mapping (MTM) 的模式匹配方法，用于非线性色调映射 的图像之间的匹配。 我们发现，当色调映射由固定的分段函数逼近 的时候，在计算时间上与 Normalized Cross Correlation (NCC) 是差不多的。 实际上，对于非线性的映射来说 MTM 可以看作 是 NCC 的一个泛化。当映射被约束为线性的时 候， MTM 就是 NCC 。 MTM 对非线性色调映射具有不变性。实验表明， 它具有高度区分能力和对噪声鲁棒的特性。

背景和摘要 一般方法复习 本文思路、创新点 实验结果和不足

0 150

1. Normalized Cross Correlation (NCC) θ 一般解释： 缺点：不适合非线性的色调变化

2. Mutual Information (MI) 互信息量 参考文献 “Visual Correspondence Using Energy Minimization and Mutual Information” color 互信息量很小 即：一种颜色值始终对着另外一种颜色值 缺点：计算时间随着 size 增大而增大

背景和摘要 一般方法复习 本文思路、创新点 实验结果和不足

Matching by Tone Mapping

Binary mask …123456…

=

背景和摘要 一般方法复习 本文思路、创新点 实验结果和不足

Object Stereo — Joint Stereo Matching and Object Segmentation _CVPR_2011_Poster Pushmeet Kohli Daniel Scharstein Sudipta Sinha Michael Bleyer PostDoc Researcher at the Vienna University of Technology Carsten Rother Researcher in the Computer Vision Group at Microsoft Research Cambridge/UK Editor: PAMI Area Chair: ECCV 2012, ICCV 2011, DAGM 2010, BMVC 2009/10 Reviewer: Siggraph, CVPR, ECCV, ICCV, PAMI, IJCV, Eurographics, BMVC, DAGM, etc.

背景和摘要 本文提出的方法 实验结果

Stereo matching Image segmentation

背景 结合图像分割（ image segmentation ）和立体 匹配（ stereo matching ）的立体方法的目前已 经有很多高质量的研究成果。 但是这些立体方法基本采用 low-level 的分割方 法去过分割一个图像（极端：单个像素）。 本文将这个结合的方法推向一个新的层面： Object-level ！！！

摘要 文章提出一种立体匹配（ stereo matching ）和物体分割（ object segmentation ）的结合方法。在本文中，一个 3D 场景由一些视觉上清 晰可分的，空间上连贯的物体集合组成。每个物体有 3 个方面的特征： 颜色模型，拟合该物体视差分布的 3D 平面， 3D 连接特性（本文提 出）。 最近，图像分割很多用 Markov Random Field （ MRF ）方法，受此启 发，我们采用基于物体层面的颜色模型作为一种软约束，对深度估计 起到一个非常有的帮助。比如，在其中一个视角中一些完全被遮挡的 区域的深度也能够被恢复出来（据作者了解，这在立体视觉中是一个 新的想法）。 最后的模型用一个能量方程表示，通过 fusion move 优化得到解。 本文提出的方法能够得到高质量的立体匹配和物体分割的结果。该方 法不仅仅在立体匹配和物体分割邻域效果显著，在一些自动或者交互 的基于物体的场景操作（ object-level scene manipulation ）中也可以 发挥作用。

背景和摘要 本文提出的方法 实验结果 假设  用公式表示  合成能量方程  优化每个像素的 label 以降低能量值

假设 每个物体在 3D 空间都是紧凑的。（ 1 ） 邻域像素一般属于同个物体。（ 2 ） 同个物体的深度变化一般是平滑的。 （ 3 ）物体通常趋向于平面（非严格 的平面）。 物体的 3D 连通性。本文的独创。 物体可见部分都有相似表观，这里只 采用颜色。 物体的 MDL 原则。

绿点的视差 视差简单介绍

平面的表示 对 点，有两种视差。 Low-level  约束  平面 （ 2 ）根据所属物体的平面（ object plan ）计算得到的视差。 （ 1 ）初始化得到的视差。 Parallax model: 一个物体中每个点的两种视差的差值的一个模型表示。 在该 model 上加约束。 不同视差用 不同的颜色表示

Energy function: 1. Photo consistency term : （ 深度平面集合， 物体类集合）

2. Object-coherency term : 3. Depth plan-coherency term : 鼓励邻域在同一个 object 内，否则加惩罚。

4. Object-color term : 5. Object-parallax term : 6. Object-MDL term : Object 数目越少越好 每个 object 对应一个 color model 。用混合高斯 GMM 表示。 目的：鼓励同一个 object 内的点的颜色尽量符合同一个分布。 即：上文两个平面表示的差。鼓励该差值小。迫使视差图变得平滑。

7. 3D connectivity prior : 同一个 object label （物体标签）的两处，是不是属于同一个区域呢？ 物体标签，颜色模型，物体平面模型 ！！！

Fusion Move 初始 proposal = 不同初始视差 * 不同 mean- shift 分割 * 不同的参数设置 一共 30 种初始 proposal 。 假设  用公式表示  合成能量方程  优化每个像素的 label 以降低能量值 MRF  Graph cut  α-expansion or belief propagation or……

α-expansion 一个初始解决方案 一个新的解决方案 选择旧的还是新的，依据能量最小： 新方案的构造： 参考 “LogCut - Efficient graph cut optimization for Markov random fields” 是一个 label 定值 Fusion move ： Generalized α-expansion α 是一个 proposal

背景和摘要 本文提出的方法 实验结果

谢谢