Web 技術を用いて作成されたUI には,ボタンやテキストなどのUI 要素が含まれる.これらのUI 要素に対して操作を行ったときに想定の処理を行うかを確認するために,実際にUI を操作することでテストを行う.UI の操作を自動化するためにはWeb サイト上のUI 要素の座標を判定する必要がある.UI 要素の座標を判定する方法としてHTML を解析する方法が考えられるが,UI 要素を構成するHTML の構造はUI 要素毎に異なるため,この方法でUI 要素の座標を判定することは困難である.
そこで,本研究では画像処理技術を用いてWeb サイトのスクリーンショット画像からUI 要素の画像と一致するような矩形領域を探し出す手法を提案した.スクリーンショット画像からガウシアンピラミッドを生成し,それに対していくつかのサイズに拡大・縮小したUI 要素の画像でテンプレートマッチングを行った.これにより,スクリーンショット画像内のUI 要素の矩形領域のサイズが,UI 要素の画像のサイズと一致していない場合でもUI 要素の座標の判定ができる.さらに,テンプレートマッチングによる判定結果に対して位相限定相関法を適用することで,テンプレートマッチングによる判定結果から誤判定されたものを取り除いた.また,提案手法の有効性を調べるために実際のWeb サイトに対し提案手法を適用し,UI 要素の座標が取得できているかを確認した.適用した結果から,UI 要素の画像が特定の条件を満たす時に提案手法による誤判定の可能性が高くなるものの,画像処理技術を用いてWeb サイトのスクリーンショット画像からUI 要素の座標を取得できることがわかった.