カメラ付きAndroid端末で 博物館などの展示物情報を 提供する手法 表紙 宮内泰明 中北真偉・　　　　 中川祐治 愛媛大学理学部数学科 愛媛大学 大学院 理工学研究科

研究の背景 （四国電力との共同研究） 原子力保安研修所 展示物説明 研修 博物館や観光地、商店街 などへの応用 小型端末に 解説を表示 日本語 英語 ハングル 中国語など 他国籍に対応 ・四国電力の原子力保安研修所では研修や展示が行われている ・原子炉のふたを開ける訓練の画像。 ・展示物の解説を小型端末に表示したい。 ・博物館や美術館の展示物にも応用できるのではないか。 博物館や観光地、商店街 などへの応用

展示物のガイドシステム カメラ付き小型端末でのガイドシステム構築 →物体同定 膨大 ー 短縮可能 屋外 屋内外 特徴量 GPS 電子コンパス マーカ 処理時間 膨大 ー 短縮可能 利用場所 屋外 屋内外 ・android端末で物体同定に使えそうな手法として次の３つを考えました。 ・（画像認識）特徴量を用いた手法は処理時間が膨大にかかる。 ・ＧＰＳ、電子コンパスを用いた手法はほとんど屋外でしか使えない。 ・マーカを用いた手法は展示物の近傍にマーカを設置しそれを認識することで物体同定を行う。 ・特徴量を用いた手法より時間を短縮でき、屋内でも利用できる。 ・以上よりマーカを用いた手法を採用する。

マーカについて 方向識別子 円形 量子化誤差を軽減 情報量小 遠くから でも 認識可能 セル 見込み角 5bitsマーカ （32種類） ・マーカは主に円で構成されているため量子化誤差を軽減できる。 ・反時計回りにセルが黒を１、赤を０として２進数の位が低い方から数える。 見込み角 5bitsマーカ （32種類） ０～４０度まで認識可能

マーカの種類 5bitsマーカ （32種類） 11bitsマーカ （2048種類） ・マーカは5bitsだけでなく、11bitsなどのものもありbit数をふやすことでより多くの情報を保持できる。 ・現状は5bitsマーカを主に使用 5bitsマーカ （32種類） 11bitsマーカ （2048種類）

概要 Ａ室 Ｂ室 Wi-Fiによる展示室の特定 今いるのは Ａ室だ！！ 展示物 Wi-Fi ルータ ・展示室の特定により違う展示室でも同じ番号のマーカを使用できる。

概要 Ａ室 Ｂ室 マーカの認識 端末がマーカ を認識 カメラで 撮影 展示物 Wi-Fi ルータ ・端末のカメラでマーカを撮影することにより展示物を特定する。

文章・映像・音声など様々な情報を表示できるリッチコンテンツ 概要 文章・映像・音声など様々な情報を表示できるリッチコンテンツ コンテンツを端末に表示 Wi-Fi ルータ 展示物 Ａ室 Ｂ室 ◇トウガラシ◇ トウガラシ ニンニク ・ナスの仲間 ・とても辛い ・唐（中国） 　から伝わった？ ・香辛料 ・英語ではレッドペッパー(red pepper) ・中川研究室のマスコット ・認識したマーカに対応した展示物の名前が吹き出しで表示される。 ・吹き出しをタッチすると、その展示物の解説が表示される。 ・画像・文章・音声・映像などを流せるリッチコンテンツである。 認識したマーカに対応した展示物の名前を表示 タッチした展示物の解説を表示

３番 処理の流れ ①マーカ領域 を抽出 ⑤マーカ番号 の算出 ②マーカ境界 ③マーカ領域 を抽出 を切り取り ④楕円を 円に補正 ・現在の処理の流れである。 ・実際の画像ではマーカを正面からとらえられておらず、楕円になっている場合がほとんどなので円に補正する。 次に処理の流れを詳しく見ていきます。→ ④楕円を 円に補正

①マーカ領域を抽出 YUV色空間で画像を取得 V空間に注目 赤い領域を抽出 面積が最大の領域を マーカと認識 マーカ領域 ・YUV色空間はYが輝度、Uが青色の度合い、Vが赤色の度合いを表している。 ・主にＹ空間とＶ空間に注目する。 ・あるしきい値をもとにそれよりもV成分が大きいものを赤い領域として２値化処理を行う。 （・現在のアルゴリズムでは面積最大の領域にのみ処理を行うためマーカを１つしか認識できない。） 次に→ マーカ領域

②マーカ境界を抽出 マーカ領域のエッジを抽出 マーカ内部の塗りつぶし 再びエッジを抽出すること でマーカ境界を抽出 マーカ境界 （・パターンあてはめによりエッジを抽出する。） ・横と縦にスキャンすることでエッジの両端を検出し塗りつぶす。 マーカ境界

③④楕円を円に補正 マーカ領域を切り取り 境界から３点を選択 短軸ａ長軸ｂ傾きθを取得 （３０回繰り返す） 楕円を決定 回転・縮小により楕円 を円に補正 a θ ・境界上の３点から楕円のパラメータを求める。 ・３０回繰り返しその平均と標準偏差からより条件に合ったもののみを選択し、さらにその平均から楕円を決定する。 ・楕円の傾き方によって反時計回りまたは時計回りに画像を回転させる。 ・Ｘ軸方向にａ/ｂだけ縮小する。 b

⑤マーカ番号の算出 Y空間に注目 白い領域を抽出し方向識別 子を認識 V空間に注目し方向識別子 から反時計まわりにセルの 色を判定 マーカ番号・・・・ ・Ｙ空間は輝度 ・Ｖ成分は赤成分 ３番

⑤セルの色の判定方法 しきい値： （５１+３）÷２＝２７ 方向識別子の重心を算出し マーカの中心を基準に６０度回転 セルの重心を基準に三点を選択し そのV成分の平均に注目 各セルごとに同じ処理をくり返し しきい値を算出 各セルの色の判定 黒 黒 ３ ８ 赤 ・方向識別子の重心を６０度ずつ回転させることにより、各セルの重心を求める。 ・３点のとりかたは重心の点、重心とマーカの中心の中間点、前二つの中間点。 ・しきい値は各セルの平均値のうち最大のものと最小のものの平均値 ・しきい値より平均値が大きいセルを赤、小さいセルを黒とする。 ４７ ５１ 赤 ６ 黒

端末での実行 物体名 輝度の ヒストグラム マーカの 位置 認識結果 認識結果 (２進数) (１０進数) ・マーカの位置、認識結果、物体の名前が表示されるようになっている。 ・輝度のヒストグラムは上が全体、下がマーカ内、赤い線が方向識別子を求めるしきい値。 認識結果 (１０進数) 認識結果 (２進数)

今後の予定 マーカの複数同時認識 精度の向上 Wi-Fiによる場所の特定 コンテンツの作成 現在は面積最大のマーカを一つだけ認識 しきい値の設定（マーカ・方向識別子） Wi-Fiによる場所の特定 コンテンツの作成 ・現在はマーカを一つしか処理できないので、最終的には複数のマーカを同時に処理できるようにしたい。 ・しきい値はほとんど固定値を使っているため、光の加減や場所によって自動でしきい値を求められるようなアルゴリズムを作りたい。 ・Wi-Fiに関する機能はすでにアプリがあるそうなのでそちらを利用させていただく予定。 ・マーカを認識した後のコンテンツは他研究室で作成中である。 ・以上のことを行えば目標とするガイドシステムを作れるのではないか。

終わり 終わり

楕円から円への補正(補足) ：抽出後の平均値 短軸 長軸 × × × 傾き ：平均値 ：平均値±標準偏差の範囲 ・それぞれの平均値、標準偏差を出す→平均値±標準偏差の範囲のもののみ抽出→抽出後の平均値を楕円のパラメーターとする ：平均値 ：平均値±標準偏差の範囲

量子化誤差について 円形のマーカを 直線を求めるときに大きな量子化誤差が起こる 用いることで 量子化誤差を軽減 実際の 正方形の辺 ハフ変換によって 求めた線分 実際の 正方形の辺 直線を求めるときに大きな量子化誤差が起こる ・マーカが正方形だった場合は４つの頂点を求めるために４辺を求めなければならない。 ・辺を求める際に量子化誤差が起こる。 ・よって、線分を求める必要のない円形のマーカを用いる。 ・参考：http://hydro.energy.kyoto-u.ac.jp/Lab/ronbun/P_2003/fujino.html 円形のマーカを 用いることで 量子化誤差を軽減