教育機関向け情報 - 教育/研究事例

リアルタイムビジョンチップ

立命館大学ロボティクス学科有本研究室
平井 慎一 / 坪井 辰彦
〒525-8577 滋賀県草津市野路東1-1-1

担当
名前       学年
坪井 辰彦   D2
増渕 章洋   M2
座光寺 正和  M1


    研究内容

     本プロジェクトの目的は、リアルタイムで運動物体の位置と姿勢を計測し、物体の種類を識別する能力を持つビジョンチップを開発することである。 現在、運動物体の位置検出法として、正規化相関法が広く用いられている。 正規化相関法は、並進運動を検出することができるが、回転運動、物体の拡大・縮小、物体の変形を検出することができない。 また、回転や拡大・縮小が検出できる手法として、輪郭法が提案されている。 輪郭法では、凸物体の回転運動や拡大・縮小を検出することができるが、凹物体や穴を有する物体に適用できない。

     本プロジェクトでは、片側ラドン変換 one-sided Radon transform を用いたビジョンアルゴリズムを提案し、運動物体の位置と姿勢をビデオフレームレートで検出し、物体の種類を識別することができるビジョンシステムを開発した。 開発システムは、

    • 運動物体の識別、並進・回転運動計測がビデオフレームレートで可能
    • 凸物体のみならず、凹物体、穴を有する物体に適用可能

    という特徴を有する。 開発システムは、Windows98またはART Linux上で動作する。

     開発アルゴリズムは並列性が高く、チップ上に実装することにより、さらなる高精度化と高速化が実現できる。 そこで、システムコンパイラを用いて、開発アルゴリズムをFPGA上に実装し、リアルタイムビジョンチップを開発する。

    原画像 ラドン変換 片側ラドン変換

    試作FPGAボード

     前述の片側ラドン変換を使用した画像認識アルゴリズムをFPGAに実装する事を目的としてFPGAボードを試作した。 その外見をFig.1に示す。


    Fig.1:FPGAベースリアルタイムビジョン

     この試作FPGAボードは、エスケーエレクトロニクス社製の大規模FPGAボードを中心に、三菱電機マイコン機器ソフトウェア製のMU200-VDEC(ビデオデコーダ)、MU200-VENC(ビデオエンコーダ)、MU200-SRAM、MU200-E(FPGA学習用ボード)を接続した物である。 これらのうち、画像認識処理に直接関係するのは、中心の大規模FPGAとビデオデコーダとSRAMのみであり、他の部品は開発支援用に接続している物である。 このビジョンシステムは、映像入力側はNTSCまたはPALのビデオ信号である。 認識結果は、PC/104ベースの小型コンピュータへと直接送信され、そこから産業用リアルタイムLANのARCNETまたはEthernetを使ってロボットシステム等のホストシステムに送信される。 想定しているロボットシステムとの接続例は、以下のようなシステムである。


    Fig. 2 : Target Robot System

    FPGA内部回路設計

     片側ラドン変換と一連のマッチング処理は複雑な回路になるため、まずは以前にソフトウェアでPC上に実装した、片側ラドン変換を限定的に使用する簡易実装3)をFPGAでも行う事とする。 この簡易実装は、最初に対象の重心を求め、その重心を原点として片側ラドン変換を行う。 また、片側ラドン変換もρ=0の場合のみを計算し、マッチングを行う。 片側ラドン変換はオリジナルではなく工夫された順次処理を使う。 ただし、重心を求めるために、SRAMにフレームメモリを設けて映像をフリーズする事とする。 以上の構成をFig. 3に示す。


    Fig.3 : One-sided Radon Transform LSI

     Fig. 3の中で、点線で囲ってある部分は主要な回路を表している。 主要な回路では、片側ラドン変換部分とマッチング部分は実装しており、画像入力とフレームメモリ関連の回路をこれから製作する。 これらの回路は、開発を容易にするために、全回路が入力画像のクロックに同期して動作するよう設計する。 回路の設計には、通常使用されるHDLは使わず、C++言語ベースのC Level Design社のSystem Compilerを用いる。 C++ベースであるため、シミュレーションを通常のC++プログラムと同様の手法で行える。 これは、画像処理のように演算量が多くても高速にシミュレーションが可能で、テストパターンの生成にも既存の資産を生かせるという事を示している。

    おわりに

     片側ラドン変換アルゴリズムのFPGA化のために、試作FPGAボードを試作した。 今後、この試作ボードにまず簡易版の片側ラドン変換を使用した画像処理アルゴリズムを実装し、次に完全版のアルゴリズムを実装し、ロボットシステムと接続し実証実験を行う。

    FPGAボードによる重心計算

    FPGAボードによる位置と姿勢の検出
    研究発表

    論文

    • Tatsuhiko Tsuboi, Akihiro Masubuchi, Shinichi Hirai, Shinya Yamamoto, Kazuhiko Ohnishi, and Suguru Arimoto, Video-frame Rate Detection of Position and Orientation of Planar Motion Objects using One-sided Radon Transform, Proc. IEEE Int.Conf. on Robotics and Automation, Vol.2, pp.1233-1238, Seoul, May, 2001

    口頭発表

    • 増渕章洋,平井慎一, 片側ラドン変換アルゴリズムのFPGA実装, 計測自動制御学会システムインテグレーション部門学術講演会予稿集, pp.277-278, 2001
    • 平井慎一,坪井辰彦,増渕章洋,座光寺正和, ラドン変換に基づくビジョンアルゴリズムの並列化とFPGAへの実装, 電子通信情報学会技術研究報告 DSP2001-114, Vol.101, No.384, pp.31-38, 2001
    • 坪井辰彦,平井慎一, 片側ラドン変換を用いたビデオフレームレートでの平面運動計測とその実験的評価, 2001年電子情報通信学会情報・システムソサイエティ大会講演論文集, p.225, 2001
    • 座光寺正和, 平井慎一, リアルタイムビジョンのための片側ラドン変換法の並列化, 第19回日本ロボット学会学術講演論文集CD-ROM, 2001
    • 坪井辰彦,平井慎一, 片側ラドン変換を用いた平面運動物体の識別と位置・姿勢検出, ロボティクス・メカトロニクス'01講演会予稿集CD-ROM, 2001
    • 増渕章洋,平井慎一, ロボット搭載用ビジョンモジュールを用いた平面運動物体ハンドリング, ロボティクス・メカトロニクス'01講演会予稿集CD-ROM, 2001
    • 坪井辰彦,平井慎一, 片側ラドン変換を用いたビデオフレームレートでの物体認識と平面運動計測, 第18回日本ロボット学会学術講演会予稿集, pp.645-646, 2000
    • 増渕章洋,平井慎一, ロボット搭載用高速高機能ビジョンモジュールの研究, 第18回日本ロボット学会学術講演会予稿集, pp.645-646, 2000

    関連リンクへジャンプ
    立命館大学集積機械知能研究室のリアルタイムビジョンチップのページ