複数のセンサ情報 (同種または他種) から, 単一のセンサでは得られない有用な情報を抽出する技術の総称. センサ融合あるいはセンサ統合とも呼ばれる. 正確にはセンサデータフュージョン (Sensor Data Fusion) と呼ぶが, 省略形であるセンサフュージョンが定着している. 類似用語として, マルチセンサ (複合センサ), インテグレーション (統合) があり, 心理学分野では, バインディング (結合) も見られる. また, 発展系として, 情報統合 (Information Fusion) やセンサネットワーク (Sensor Network) の分野があり, これらの分野の処理構造の基盤となっている. センサ自体の複合化, センサの知能化に対するセンサ情報処理の構造論, ネットワーク構築や処理ハードウェアのアーキテクチャ論, 処理の計算構造に対する信号処理・統計処理や信号処理, 論理構造に対する人工知能や知識処理, 処理構造が未知の場合の適応･学習理論, 全体システムの設計論等が議論されている.

従来は, 感覚系で外界の認識をした後, 運動系にフィードバックされ行動が発現されるという直列モデルが主流であったが, 感覚系と運動系の関係は, これだけではなく, 認識のための運動の発現や下位のセンサフィードバック系の上位モニタとしての処理系等, 様々な形で統合的な処理モデルが考えられるようになった. このような処理構造を感覚運動統合と呼ぶ. 実際には, 脳のように超並列的な情報処理機構も必須の構成要素となる. 工学的に感覚運動統合システムを実現するには, アクチュエータやセンサ, コンピュータやアルゴリズム等, 感覚系・処理系・運動系を矛盾なく統合し, タスクや外界を含めて系全体を統一的に扱うことが必要となる. 本研究室では, 機能面と時間特性の両観点から感覚運動統合を行った高速ロボットを開発している.

産業用ロボットは, プレイバック動作に対しては高速の動作が実現されているが, センサフィードバック, 特に視覚フィードバックを導入すると認識系の処理に起因して動作が遅くなる. また, 人間の動作を目標とするヒューマノイドロボットをはじめとする知能ロボットでも, 感覚系・認識系の遅さに起因して, 全体の動作は遅い. 機械システムとしてのロボットの高速動作の動作限界は, 人間の動作に比べて速いので, 本研究室では, 感覚系・認識系を高速化することにより, ロボットの高速化を目指している. 本研究室が考えるロボット研究の目標は, 感覚系・認識系も含めて人間をはるかに超える速度で動作する知能ロボットであり, 人間の目には見えない速度で動作する知能ロボットである.

「知能」をどのように考えるかは, 従来からチューリングテストをはじめとして様々な考え方が存在するが, ここでは, 計算機の中＝情報の世界の中だけの知能ではなく, 実世界 (real world) の中で, 感覚系・認識系 (センサ技術), 処理系 (コンピュータ技術), 運動系・行動系 (アクチュエータ技術) が, 様々に変化する実世界と適応的にインタラクションするシステムと考える. この定義は, 従来の考え方を包含し, 実世界を対象とするため, より困難な問題設定となっている. この知能システムの実現には, 「知能」の計算理論 (computational theory) の構築, 特に階層的並列処理構造の構築, その理論を実現するための情報表現とアルゴリズムの構築, 特に内部モデル (internal moddel) と情報表現 (representation) 並びにフュージョンアルゴリズムの設計, さらには実際に実現するスマートセンサやスマートアクチュエータを含めたハードウェアの三つの要素が重要となる.

知能システムの分野では, 脳の情報処理構造にヒントを得て, 脳に限らず広く一般的な知能システムの処理構造のモデルとして, 感覚系, 処理系, 運動系を統合し, 機能ごとの処理モジュールが階層的かつ並列に接続された分散処理構造を基本とするモデルがAlbusによって提案されている. このモデルにおいて, 感覚系・認識系に入力されたセンサ情報は, 求心性情報 (afferent information) として, 上位の階層に向けて階層ごとに処理されるとともに, 情報の抽象度を上げていき, 処理後の情報は, 運動系・行動系を遠心性の情報 (efferent information) として, 下位の階層に向けて, 具体的な信号に変換されて, アクチュエータに伝えられる. 各階層では, それぞれの情報表現 (representation) と時定数 (time constant) により処理が行われるとともに, 多層・多重にフィードバックループが形成されている. 上位の層では, 判断や計画という論理構造を実現する知識処理が行われ, 下位の層では, 高いリアルタイム性の制約の中で並列性の高い信号処理が行われる. この構造の効果的な活用のためには, 目的に対するタスク分解が鍵となる (タスク分解の項を参照).

階層的並列分散構造を有する知能システムの構築において, 目的の機能を分散化された処理モジュールに実装する際に, 全体のタスクを処理モジュールごとに分解した上で実装する必要がある. これをタスク分解 (task decomposition) と呼ぶ. タスク分解の方法の違いにより, 知能システムの動作が大きく変わるので重要な課題であるが, 一般的な解はなく, いくつかの設計思想が提起されている. 基本構造としては, 感覚系→処理系→運動系という分解の直列分解 (sequential decomposition) と, 並列のフィードバックループを仮想に配置した並列分解 (parallel decomposition) に分けられるが, 実際のシステムでは, この両者の複合構造となる場合が多い. 直列分解は, 各モジュールの設計が容易であるという利点があるが, 高度な処理が間に挟まると全体が遅くなるという欠点がある. 一方, 並列分解は処理速度の面では優位となるが, ヒューリスティックにしか分解が見つからないという欠点がある. 本研究室では, 少ない次元のアクチュエータに対して, 並列モジュールからの出力の単純加算で出力するため, 処理モジュールの出力が時間的又は空間的に独立となるように設計する直交分解 (orthogonal decomposition) を提案している.

本研究室が提唱する高速のセンサフィードバックを行う知能システムに対する設計思想. 実世界で扱おうとする対象 (ロボット本体の物理系も含む) には固有のダイナミクスがあり, サンプリング定理により, 対象の完全な把握・制御にはシステムのすべての要素が対象のダイナミクスに対して十分な帯域を確保することが必要である. そこで, ダイナミクス整合は, 対象のダイナミクスをカバーするように, 感覚系 (センサ), 処理系 (コンピュータ), 運動系 (アクチュエータ) を設計することにより, 全体として整合性の取れた知能システムを実現することを意味している. もし, 一部に遅いモジュールがあると, 対象のダイナミクスに対して不完全な情報での制御となり, 全体システムはそのモジュールのダイナミクスに制約されることになる. 現在市販されているサーボコントローラのサンプリングレートは1kHz程度なので, 機械システムを想定した現実的な知能システムでは1kHzが上限の目安となる.

リアルタイムプロセッシングとは, 何らかの意味で定義された時間内に処理を実現することを補償した処理系を意味し, ロボットのような実世界で高速に動くシステムでは必須の技術である. 並列処理は, 演算処理の高速化に有効であるが, 処理モジュール間のデータ転送や演算の実行時間の変動などにより, 例えばプライオリティインバージョン (priority inversion) 等の問題が起こり, 全体として処理時間の制御が難しくなるため, ロボットに求められるリアルタイム性と両立させることは極めて困難になる. 従って, 多くの場合, 目的の機能に対してアドホックに処理を設計しているのが現状である.

環境やロボットの状況をとらえたセンサ情報をロボットの動作にフィードバックすること. 通常は, 視覚センサや触覚センサといった, 外界の変化や外界とロボットとの相互作用等を捉えるセンサからの情報に対するフィードバックのことをさし, 環境や対象の変化, ロボットとの相互作用等を認識・理解し, ロボットの行動にリアルタイムに反映させる制御のことをさす. 従来の産業用ロボットは, プレイバックと呼ばれる同じ動作を繰り返すことを目標に作られており, 繰り返し動作として精度や速度の仕様が設定され, 評価されていたが, センサフィードバックモードの場合は, 繰り返し動作とはならないため, 精度も絶対精度あるいは対象との相対精度で評価すべきで有り, 動作速度もセンサ情報処理系の認識・理解の処理時間も含めて, 設計する必要がある. 知能システムとして, 高速ロボットを実現するためには, 本研究室が提唱するダイナミクス整合のような設計思想が必要であり, なおかつ非繰り返し制御に対応するバックラッシュレスの機構の導入が必須である.

センサフィードバックの中で, 特に, 画像情報に対するフィードバック制御を意味する. センサ情報の中で視覚情報は, ２次元パターン情報であるため, 画像処理の時間がフィードバックレートに内包されるため, 従来はリアルタイムフィードバックが困難とされていたが, 高速画像処理の導入により, リアルタイムのビジュアルフィードバックが可能となる. 画像情報をフィードバックする先は, ロボット本体の他にも, 対象物, 照明, 撮像カメラなど様々な形が考えられる. 例えば, ロボットの作業や把持の制御はもちろんのこと, 顕微鏡像の制御を行うマイクロ ビジュアル フィードバック, アクティブ ビジョン, ターゲット トラッキング等への応用が考えられている. また, 画像→世界座標系→作業座標系という絶対座標系をベースとした制御も考えられるが, 画像に写りこんだ対象とロボットの像からそれらの相対的な座標から制御を行う相対座標制御を導入することにより, 座標変換誤差を排除することが可能となる.

ネットワークの各アドレスに何らかのセンサを配置し, そのセンサ情報をネットワークで活用することを目的としたネットワーク. 従来のネットワークが, ノードとしてコンピュータを想定していたのに対し, センサ情報を対象とすることにより, ネットワーク上で物理世界の情報の把握が可能となり, ネットワーク上に接続されたノードからそれらの情報を利用することが可能となる. サイバーフィジカルシステム (cyber physical system) という考え方も提唱されている. 現状では, 従来のネットワーク構造にどのような形でセンサ情報を接続するかが課題となり, プロトコルの改良が行われているに過ぎない. 現在のネットワーク構造は, リアルタイム性, 情報の空間密度･時間密度, 安全性等の観点から, 本質的な意味でセンシングの基本構造を実現できる構造になっていない. 特に, 本研究室が提唱・実践する, センサ フュージョンや 感覚運動統合に不可欠な階層的並列分散構造上の タスク分解や リアルタイム パラレル プロセッシングの基盤を実現し, ダイナミクス整合に基づく, アクティブ センシングや インテンショナル センシングといったセンシングの構造を実現できる構造が, センサネットワークに必要である.

一般的にはいろいろな意味が与えられているが, 本研究室では, センシング・認識にアクチュエータを活用するセンシング手法をさす. 未知の環境に対して事前のセンシング行動や様々な補償行動が考えられる. 具体的には, 局所的なセンサで大局的構造を探索する際の対象(位置・特徴)の探索や局所性の回避(形状), 同様の目的であるが, 局所的に高分解能のセンサを用い, 大局的に走査することで実現される空間分解能の向上, アクチュエータ系の時系列信号とその応答から微細形状や表面テクスチャの最適化センシング, さらには, アクチュエータの時間特性を制御できることから, センサの動特性の補償, 特に微分的動作の補償等が考えられる. また, 自己の行動と認識との関係から, 環境と主体の行動との間の関係で認識・行動が成立するとするアフォーダンス(J.J. Gibson), 知覚循環 (U. Neisser), 選択的注意 (selective attention), 自己受容性に基づく自己認識等の考え方に強く関係している. 特に, 視覚ではアクティブ ビジョンと呼び, 触覚ではハプティックスという研究分野として注目を集めている.

センシングは, 求める情報が存在する解空間に対して, 計測値や拘束条件を使って解が存在する空間や領域を狭めていったり, 使える情報が多い場合には統計的な処理で最も適切な解を求めたりする過程である. 少ないセンサ情報で多次元の情報空間を対象とする場合には, 使える情報が対象の空間に対して少なくなる不良設定問題となったり, 広い情報空間の中の探索問題となったりする場合が多い. この場合, 解を拘束するには, 計測値ばかりでなく. 過去の経験や物理制約等を拘束条件として用いることが多いが, センシングには, センシングの目的が有り, その目的の明示的な記述を制約条件として使い, 対象の情報空間を制約することも可能である. そのような方法をインテンショナルセンシングと呼ぶ. この考え方は, 1991年～1995年に実施されたセンサフュージョンプロジェクトで提唱されたものであり, 感覚運動統合における能動的認識において, 大きな役割を果たしている.

人間の皮膚の受容器に相当するロボット用センサ. 一般には, 接触に伴うセンサ表面の圧力分布を計測するセンサを指す場合が多いが, 力センサや温度・熱流センサを組み合わせたものもある. 柔軟な弾性体の歪み計測を行うのが一般的であるが, 必要な柔軟性の確保と耐久性の維持, 様々な3次元表面形状への対応, 場合によっては大面積化, 分布情報取得のための回路技術, 取り付け空間が狭隘であるため配線量の削減等, 通常の電子デバイスには見られない設計条件が存在する. センサを固定した利用法もあるが, センサを可動部に取り付けた場合は, センサの運動が計測に強く影響するので, 能動性の強いセンサと言われている. 触覚センサを有効に働かせるための運動を触運動と呼ぶ. また, 触覚を運動と合わせて地殻構造を考えることをハプティックスと呼ぶ.

従来のマニピュレーションが低速で準静的な動作であったのに対して, 高速かつ動的な動作を基盤としたロボットマニピュレーションの総称. 例えば, 人間で言えばスポーツ時に見られるような躍動的な動作でかつダイナミクスの限界に近い動作の実現を目指すものであり, 従来のマニピュレーションでは実現しえなかった動作の実現を目指すものである. プレイバックやフィードフォワード主体の制御では, 限定された軌道でのダイナミックマニピュレーションが行われていたが, これらの方法も含め, 一般的に, 対象の加速/高速運動に追従する認識能力や運動能力が不足していたため, 　センサフィードバックを用いたマニピュレーションでは実現が困難であった. この問題に対して, 本研究室の高速ロボットでは, 広い帯域をカバーする高速のセンサやアクチュエータを開発するとともに, 対象の不安定状態および非接触状態の積極的な利用や高速動作を優先した少ない自由度での器用な操りの実現等, センサ・アクチュエータ系の性能を限界まで活用することにより, 新たなダイナミックマニピュレーションの創出を目指している.

サンプリングとは, アナログ信号（原信号, 連続値）の値をある間隔ごとにサンプル (離散信号) として取り込むことを意味し, その際の間隔をサンプリング間隔, この逆数をサンプリング周波数と呼ぶ. サンプリング定理とは, ある帯域制限信号の最大周波数に対して, その周波数の2倍以上のサンプリング周波数で原信号をサンプリングすることにより, サンプル値から原信号を完全に復元できることを意味する. このことから, システムの設計に当たっては, 対象の帯域を把握あるいは設定した上で, 2倍以上の帯域を有するセンシング系を用いることが, 対象を完全に把握するための必要条件となる. しかし, 現実には, 対象の帯域やサンプリング周波数をどのように設定するかは, システムの動作周波数の設定とともに, 極めて難しい問題である. そこで, このことも含め制御系設計を考えると, 設定した帯域の2倍ではなく, より帯域を広くとることが望ましく, 例えば, ロボットの制御 (時間軸) では, 10倍程度に設定することを勧めている教科書も存在する. 本研究室で扱うビジュアルフィードバックでは, 一般的なサーボコントローラのサンプリングが1msに設定されている場合が多いので, ダイナミクス整合の観点から視覚情報処理のフレームレートの上限を1,000fpsで実現することを基本としている. このことは, 理論的には500Hz以下の帯域で対象の把握が可能であることを意味しているが, 対象の制御という点では, 対象やシステムの動特性に依存して, もう少し下の帯域 (例えば, 100Hz～500Hzを上限とする帯域) をカバーしていることになる

様々なダイナミクスを有する現象に対して, 光学系・照明系・処理系等をうまくコントロールすることで, 通常では見ることができない対象や現象を人間にとってわかりやすい形で提示する技術. 従来の固定で低速の撮像システムでは,画角が固定されていることに起因して, 画角と対象の解像度の間にトレードオフが存在するため, 画角外の撮像や対象の高解像度撮像は不可能であった. また, 対象の運動等のダイナミクスが映像に含まれるため, 運動中の対象を高解像度でとらえることはできなかった. そこで, この技術により, 映像に混入する不要な運動を補償することにより,利用形態に合わせて必要とする映像の撮像が可能となる.

顕微鏡下の対象のように微細な物体を操作することは, 人間にとって困難であり, 特殊なスキルを操作者が獲得する必要がある. マイクロビジュアルフィードバックは, 微細対象の拡大像を高速ビジョンで捉えることにより, 対象に関する情報を高速・高精度・非接触にフィードバックし, 必要な情報・映像を取得する方法である. 微細なスケールでは物体の固有振動数やその大きさに対する相対的な速度が高速になるため, マイクロビジュアルフィードバックにおける画像処理やアクチュエーションの高速性は特に重要な要素となる. この手法により, 人間に過度の負担をかけることなく微細対象の自律的な操作を行うことが可能になり, 顕微鏡下の観察, 検査, 操作にブレークスルーをもたらすものと期待されている.

高速ビジョンを介して情報処理機構と結合することで, システムを構成するひとつのモジュールとして働く微生物. このモジュールを要素として, 柔軟かつ多様な機能を提供する超大規模マイクロシステムの実現を目指している. 生物にとって, 環境変化の的確な検知とそれに対応した素早い行動は生死に関わるため, 微生物も体内に高感度, 高精度なセンサとアクチュエータを発達させてきた. オーガナイズドバイオモジュールでは, 微生物を高感度センサと超小型アクチュエータが統合されたバイオモジュールととらえ, 複数のバイオモジュールと処理要素を結合させるインタフェースの開発により, 生物と情報処理機構を融合した新しいマイクロシステムの実現を目指している.

何らかの形で対象に情報やエネルギーを加えることにより, 有用な画像情報を得る技術. 様々な定義がなされているが, 最も広い定義では, 眼球運動に相当する視線制御を積極的に利用する画像処理, 構造照明等を用いて画像に意図的にパターンを照射することを利用する画像処理等が含まれる. 視線制御では, リアルタイムビジュアルフィードバックを用いる方法や記憶されている情報 (未確定情報) を用いて画像探索の効率を上げる方法等が用いられ, 固定のカメラでは得られない性能が引き出されている.

運動する対象 (target) を追跡し, 必要な情報を得る技術. 対象が複数の場合は, マルチターゲットトラッキングと呼ばれる. 運動中の対象の画像の取得を目的とする場合には, 対象の運動に追従可能な高速ビジョンにより対象を捉え, 視線方向を制御するアクチュエータにフィードバックすることにより, 対象を画角中心に捉える技術となる. 基本は, パンとチルトの２次元 (２自由度) の制御となるが, ステレオビジョンによる３次元トラッキングや高速フォーカシングによる単眼３次元トラッキング等も実現されている.

カメラレンズや人間の眼などの光学系において, 像面に伝達する光の幅を制限する部分は瞳と呼ばれ, カメラレンズの絞りや人間の眼球の虹彩がその役割を果たしている. 複数の光学系を接続する場合に, 単に接続すると一方の光学系の瞳を通った光の一部が他方の瞳を通れなくなってしまい全体として像が暗くなったり, 像の一部が欠けてしまったりするといった問題が起きる. これを解決するために, 両者の接続部に, 片方の瞳を通った光線がもう片方の瞳も必ず通ることができるよう光線の具合を調整する光学系を配置することがあり, これが瞳転送光学系と呼ばれている. サッカードミラーでは小さな回転鏡を通過した光線が効率よくカメラレンズの瞳を通ることができるように, 瞳転送光学系が鏡とカメラレンズの間に配置されている.

ターゲットトラッキングのアルゴリズムの一種で, 高速画像の取得を前提としたシンプルなアルゴリズム. 高速画像の場合, 対象の像面での動きはフレームごとにわずかであるため, 前フレームの対象の周りにウィンドウを設定すれば, 次のフレームでの対象はそのウィンドウの中に存在することが仮定できる. もし, 像面での動きがそれ以上の場合には, 前提条件を満たすようにフレームレートを上げるようにすれば, 必要となるターゲットの探索範囲は極端に小さくなるため, 簡単なマッチングアルゴリズムで対象の抽出が可能となる. この方法は３次元トラッキングでも同様の方法が利用できる.

ほとんどのカメラや双眼鏡は, そのフォーカスを調節する機構を備えている. 既存の光学系は, 複数の固体レンズから構成されており, その一部のレンズの位置を変更することで, フォーカス調整の機能を実現している. しかし, レンズの位置を高精度に動かす必要があるため, その構造が複雑になって小型化の妨げになったり, フォーカス調整の高速化が難しいなどの問題点も存在する. 可変焦点レンズとは, ひとつのレンズ自体がその焦点距離を調節できるような機能をもつ新たな光学デバイスである. 可変焦点レンズが実現されれば, レンズを動かさずにフォーカス調節やズームを実現できるため, 従来にくらべて遥かに省電力, 小型, 高速かつ高機能なデジタルカメラなどが実現されることが期待される. 膜や板の変形, 液体と液体との界面の変形などを用いてレンズの形状を調整するものや, 液晶のように屈折率を変えられる 材料を用いる方式のものなどが盛んに研究されている. なお, 従来の機械的にレンズを移動させるタイプの光学系全体を指して可変焦点レンズと呼ぶ場合もあるが, 本研究室における「可変焦点レンズ」はレンズ単体でフォーカス調整機能をもつデバイスを指す.

全焦点画像とは, 視野全体でピントが合っている画像のことである. 特に, 視野全体にピントをあわせることが不可能な場合には, フォーカスの異なる複数の画像や, 特殊な光学系で撮影した画像に基いて, 計算機によって全焦点画像を合成する手法が盛んに研究されている. この手法が重要になる理由は, 次に述べる光学系の制約が存在するからである. 通常, カメラで画像を撮影すると, 画像の中にピントが合っている場所と合っていない場所が存在する. ピントの合う・合わないはカメラと撮影対象との距離で決まり, この距離が光学系によって決まるある範囲内であればピントの合った画像が撮影できる. このピントが合った画像が撮影できる距離の範囲を「被写界深度」と呼ぶ. 一般的に, 拡大率が大きいマクロレンズや望遠レンズで撮影する場合には被写界深度が浅くなることが知られており, 対象の位置に合わせてフォーカスを適切に調節することが重要になる. しかし, 対象が大きい場合などには見たい範囲が被写界深度に入らなくなり, 一枚の画像ですべてにピントの合った画像が記録できないという問題が起きる. 本研究室では, 高速可変焦点レンズを用いて, 高速の全焦点画像の取得を目指した研究を行っている.

実世界を捉え, リアルタイムに応答する高速ビジョン技術並びにその応用システムを応用開拓から, システム実現のための諸課題を設定・解決する学術分野. 様々な分野において新しい応用を切り拓くためには, 限界性能に近い動作を可能とするシステム技術の創出が求められる. そのためには, 応用・原理・デバイスの3者間の洗練された関係性を築くことで突出した性能と機能を追求することが肝要である. ビジョンアーキテクチャは, この設計思想に基づき, 人間の眼を遥かに凌ぐ超高速の画像センシングを軸として, 様々な分野において新しい応用を切り拓く実践的な研究を目指すものである. 具体的には, VLSI技術, 並列処理, 画像認識, 計測工学を駆使して, 超高速の認識・センシングシステムを創出し, ロボティクス, 検査, 映像メディア, ヒューマンインタフェース, デジタルアーカイブ等の分野で新しい応用を具現化している.

イメージセンサの各画素に光検出器 (PD: Photo Detector) とともに, プログラマブルな汎用ディジタル処理要素 (PE: Processing Element) を一体的に集積し, 汎用かつ高速な画像処理をチップ内で実現するデバイス. 走査のない完全並列の構造を持ち, 従来のように, イメージングデバイスと画像処理機構との間に存在するデータ転送のボトルネックが存在しないため, 小型, 軽量, 低消費電力であるだけでなく, 高い実時間性をもった高速画像処理を実現することができる. 処理アーキテクチャは, 画像処理に効果的なSIMD (Single Instruction stream, Multiple Data stream) 型の並列処理アーキテクチャを用いる場合が多く, 簡易型のA/D変換器も内包する. 汎用演算機構だけでなく, ターゲットトラッキング専用のデバイスも開発されている.

ダイナミックな変動現象の把握や, ビジュアルサーボに基づくロボット制御において要求されるサンプリングレートと遅延を充足するように設計された画像処理. 特に, 通常の画像処理で用いられるビデオレート (NTSCの場合で約30fps) 以下の画像に対して, それを上回る, 1秒あたり100～1,000枚の画像に対して, 同じ処理速度で実行されるものを指す. 対象の帯域をカバーできていない従来の画像処理が, 不完全な情報に対する予測や学習が必須であったのに対して, 必要な帯域をカバーするフレームレートでの処理を前提とするため, 処理アルゴリズムが簡素化し, 良好なレスポンスを実現することが可能となる. 一般に, 高速ビデオは, 撮像と録画の高速化を実現する技術であるのに対して, 高速画像処理は撮像と画像処理を高速化するものであって, 例えばリアルタイムビジュアルフィードバックを実現するためには, 高速ビデオではなく, 高フレームレートかつ低レイテンシーの高速画像処理が必須である.

画像のデータ構造と処理の特性を利用して, 並列化による高速化を図った画像処理及びそれを実行する専用の処理アーキテクチャに関する技術. デバイスレベルでは, 走査という逐次処理を排除すると同時に, 特徴量演算のための画素単位での処理の並列化や1,000個のターゲットを同時観測するための対象単位での並列化等がある. 並列画像処理では, データレベルでの並列性を利用したSIMD (Single Data stream, Multiple Data stream) 型の処理の導入やコンパクトな処理エレメント (PE: Processing Element) の実現のための ビットシリアルアーキテクチャの導入や多機能化のための リコンフィギュラブルアーキテクチャの導入などが図られている. これらを用いることにより, n×n画素の画像に対して, 1のオーダーの処理時間を実現することが鍵となる.

何らかの形で配列されているデータに対する取得・転送・表示等において, 並列操作ではなく, 要素ごとに逐次的に操作する方法である. 少数の処理・伝送回路で大規模データを処理できるという利点があるが, 速度の点では不利となる. 通常の画像は, 2次元データであり, 行 (row) 方向と列 (column) 方向に順次走査されて, 画像データとなる. グローバルシャッター機能がある場合は, データの同時性が補償されるが, その機能がない場合のデータの取得時間は走査のタイミングに依存し, 左上のデータと右下のデータは, 画像全体の操作時間 (＝フレームレートの逆数) となる. また, 左上のデータは1フレーム前の右下のデータの直後となり, 時間を考慮した画像処理では注意が必要である. 例えば, 走査方向と同方向に移動する物体と逆方向に移動する物体では, 映像がかわることになる.

２次元のデータ配置 (横方向を行, 縦方向を列と呼ぶ) を持つ画像データに対して, 一つの列に処理要素 (PE: Processing Element) を接続・割り当てた並列処理構造. 画素に対してPEを１対１に接続する完全並列型と画像全体を走査して一つの演算器で処理するCPU型の中間的な構造と言える. 行方向に走査するため, 完全並列よりは処理速度が遅くなるが, msオーダーの処理が実現可能である. また, 列の数だけ伝送線を出さず, 部分的に走査して伝送線やA/D変換の数を抑えるタイプもある. 本研究室が開発し, 浜松ホトニクスが実用化した インテリジェントビジョンシステムは, この構造を有している.

汎用プロセッサの処理アーキテクチャの一つで, １bit分のALU (Arithmetic and Logic Unit) をｎ回逐次的に用いることにより, ｎbitの演算を実現するアーキテクチャ. このアーキテクチャは, 少ない数の真空管を用いていた黎明期の電子計算機で用いられたもので, 最近のプロセッサでは32bitあるいは64bit分のALUを並列に用いるビットパラレルアーキテクチャ (Bit Parallel Architecture) が使われている. ｎbitに対して処理時間はｎ倍となるが, 処理回路が１bit分で済むため, 1画素に使えるトランジスタに限界があるビジョンチップや完全並列タイプの画像処理で導入されている. この際, 高速画像処理では1ms程度の処理が求められており, 処理速度には余裕があるため, このアーキテクチャの特徴が活かされている.

処理速度を向上させる上で, 処理を担うプロセッサ回路は, アルゴリズムに応じてその最適な構成が異なると考えられる. 個別のアルゴリズムに対して, 専用化された回路構成をタスクごとに再構成可能なアーキテクチャをリコンフィギュラブルアーキテクチャと呼ふ. このアーキテクチャは, 専用化による高い性能の実現と柔軟性を両立する技術として注目されている. 本研究室の並列高速画像処理アーキテクチャの一部は, このアーキテクチャを実装しており, 様々な機能を同じハードウェアで実現している．

並列の演算処理回路に対して, 並列のデータパスを有し, 単一のインストラクションで制御する並列処理アーキテクチャで, SIMDは, Single Instruction stream and Multiple Data streamの略. 通常は同一の処理回路 (PE:Processing Element) を並列に配置し, それぞれの処理回路には独自のデータパス (画像の場合はピクセルのデータ)を有し, 並列処理回路全体で単一のインストラクションで制御するアーキテクチャである．画像の場合は, もともと処理の均質性が高いので, このアーキテクチャに向いているが, 画素ごとの条件分岐をはじめとするMIMD (Multiple Instruction stream and Multiple Data stream) 構造の擬似的な実現やグローバル特徴量の並列回路での抽出等にノウハウがある． また, ハードウェア実現の観点からは, 同じPEを並べる構造となるため, 実際に設計するPEの規模は小さく, ワンチップ化やFPGAでの実装では, 全体の回路規模に比して設計の負荷は小さい.

画素ごとにフォトディテクタ (Photo Detector) の出力をCMOSスイッチで順次走査しながら画像を構成するタイプのイメージャ. CCDイメージャでは画素ごとのフォトディテクタの出力を一度並列にCCD (Cahrge Coupled Device) にチャージした上で順次転送するため, 画素データの同時性が補償されるが, CMOSイメージャの場合は原理的にこのようなグローバルシャッター機能がなく, 画素データの同時性が補償されていない. 近年, 回路の改良によりグローバルシャッター付きのCMOSイメージャが開発され, 今後増加するものと期待されている. また, 発展形として, スイッチ機能以外に, 主として感度向上等の撮像性能の向上のための回路を数個から20個程度のトランジスタで実現した画素構造が開発され, アクティブピクセル (Active Pixel) と呼ばれている. さらに, 画像処理等の機能を数十から数百トランジスタで実現した画素構造は, スマートピクセル (Smart Pixel) と呼ばれる. 本研究室で開発したビジョンチップはスマートピクセルの一種で, 汎用PE (Processing Elemnt) を画素ごとに実現している.

動画像に対して, 1秒あたりに表示する画面の数のことを指し, fps (flame per second)という単位を用いる. 旧来のNTSC規格 (インターレース) では, 白黒で30fps, カラーで29.97fps, ヨーロッパのPAL規格では25fps, 劇場用のフィルムでは24fpsを用いたという歴史的な経緯から, 現在のハイビジョン規格では, 60fps, 30fps, 59.94fps, 29.97fps, 50fps, 25fps, 24fps, 23.98fps等が解像度とスキャン方式に応じて混在する. 走査方式には, プログレッシブ走査 (順次走査) とインターレース方式 (飛び越し走査) とがあり, 前者は走査線を上から順に走査するが, 後者は通常, 走査線1本おきの走査 (2:1と表記する) を走査線をずらして２回行って, 全体を走査する方法である.

一般に, イメージャの空間分解能は, 画素数で定義され, 例えば, 1,024×1,024画素（≒100万画素）や1,920×1,080画素（≒200万画素, HD規格）等をはじめとして, 現在では1億画素を越えるものが開発されている. ただし, 一般には画素データは走査によって読み出されるため, 高分解能になるにつれて, 転送時間や 転送回路の速度が増加することとなり, これらに対する対策が必要であり, 限界も存在する. すなわち, 時間分解能と空間分解能は, ある意味でトレードオフが存在し, この両者のどちらを優先するかや両者の統合といった課題が存在する．

イメージャあるいはデジタルカメラ (ビデオカメラも含む) の感度の表示は様々なものが使われている. そもそも計測における感度とは, 入力に相当する物理量に対する出力に相当する物理量 (多くは出力電圧) の比のことを意味するが, 日常的に「感度がいい」という場合は, 意味のある出力が得られる入力物理量の最小値 (計測では感度限界と呼ばれる) を意味している場合もある. そのため, 計測用の機器とデジカメ等の消費財では違う表現が用いられている. 前者の意味では, イメージャのデバイスとしての感度としては, イメージャの表面照度 (カメラでは像面照度) の時間積分値に対する出力電圧として定義され, 単位はV/lx·sであるが, 正確にはフォトディテクタの分光感度特性があるので光源依存となる. カメラの場合は, 像面照度に変えて被写体照度に対する出力特性として考えることになるが, カメラとしての出力を考えると, 出力電圧よりも得られる画像に意味があるため, 標準光源下での最低被写体照度 (感度限界) がよく用いられる. この場合, 光源やレンズ系に依存するため, 「最低被写体照度 0.06 lx /F1.4」等のように, レンズ系の特性や光源の特性を付記して表現する. また, デジタルカメラ等の場合には, 一般のユーザーの便宜のため, 従来のフィルムの感度との対応を表現する「ISO感度相当」や, 定義された被写体輝度が定義された基準値になる感度である標準出力感度等が用いられる.

イメージャの各画素データを同時に取得することが可能な電子的シャッター機能. イメージャの回路の動作原理から, CCD (Charge Coupled Device) 型のイメージャではこの機能が実現されているが, 通常のCMOS イメージャではこの機能がない. 近年, この機能がついたCMOSイメージャも開発されている. グローバルシャッター機能を使って撮像された画像データは, 各画素の同時性が補償されているため, 対象の運動の方向と走査の方向との干渉が生じない. ちなみに, 旧来の機械的シャッターも, その構造から撮像時刻の同時性は補償されていない.

能動的なパターン照明を用いた3次元計測方法. カメラと空間的あるいは時間的にパターン同定が容易な既知のパターン照明を投影するプロジェクタから構成され, 対象の表面上で反射した照明パターンと画像の対応から3次元位置抽出手法 (例えば, 三角測量の原理等) を用いて, 対応点での3次元位置の抽出を行い, それを画像面内を処理することにより, 3次元形状情報を得る方法である. 用いるパターン照明には様々な方法が提案されており, 対応点抽出が容易な場合には, 格子あるいは格子点パターンが用いられ, 対応点抽出が複雑な場合には, 対応点抽出のためにランダムドットや２次元M系列パターン, さらには色情報で変調をかけたもの等が用いられている. また, 扇状レーザーパターンの走査による光切断法は, 速度は遅いが精度が必要な用途ではよく用いられている. 対象表面が鏡面の場合には, 鏡面を考慮した対応点の同定が必要である.

画像内を多数の領域に分割し, 各分割領域の局所変化を同時に解析し, 計測量を推定する技術. 特に, 対象が多数の微少対象である場合には, 各対象に対する局所処理を画像全体で並列実行することにより, 全体として高速の多点計測が実現可能となる. 具体的な例としては, 粒子あるいは小型の製品の検査, 多数の細胞等に対するバイオイメージング, 血球・血流解析, 流体計測, 微生物の観測, マイクロ・微小物体のマニピュレーション, 基板などの表面洗浄のための塵検出, 大気中の粒子観測, テクスチャを用いた運動計測, 構造照明による3次元計測, イメージセンサによる可視光通信等がある. １秒間に1,000フレームの速度で, 1,000個以上の対象の状態を同時に計測するための専用プロセッサが開発されている.

計測対象の３次元の表面形状を取得する計測技術. 形状計測, 形状測定, 3次元センシングなどとも呼ばれる. 一般に, 機械的プローブを対象物表面に接触させアームの運動学から3次元位置を計測する接触式と光計測を主体とする非接触式がある. １点ずつ計測してスキャンする方法と, 画像により端点を同時に計測する方法がある. 画像ベースの非接触型の方法では, 多点の３次元計測技術が必要となり, 本研究室ではその高速化に取り組んでいる. その結果, 従来は静止した物体の観測が主流であったのに対して, 運動・変形する物体に対しても, 1kHzの速度でリアルタイムに形状を取得するシステムを開発した. このような超高速のリアルタイム3次元センシングシステムは, ロボティクス, 工業製品検査, 自動車, ヒューマンインターフェース等の分野で活用が期待されている.

テンプレートマッチングは, 入力画像から対象を検出するための画像処理の手法の一種である. 予め保持されている対象のパターンを入力画像上で走査するもので, 各走査位置でマッチング演算を行い, 得られる類似度に応じて, 対象の認識が行われれる. マッチング時に利用される類似度には, SSD (Sum of Squared Difference：2乗誤差の総和), SAD (Sum of Absolute Difference：絶対値誤差の総和), NCC (Normalized Cross-Correlation：正規化相互相関)等の方法が提案されている. ターゲットトラッキングの場合は, 前フレームのターゲット位置に対して移動可能性のある範囲を探索範囲とすることから, 高速画像の利用により探索範囲を狭めることがでるため, 演算量を減らすことが可能となると同時に, マッチング演算の並列化を導入するにより, 高速のテンプレートマッチングが実現できる．

画像に捉えられている対象を認識・理解するために, 画像パターンを何らかの演算により, 異なる次元の空間, すなわち特徴量空間に変換して, 目的に応じた特徴が抽出されるように演算を行うことを特徴量抽出あるいは特徴抽出と呼ぶ. この演算から得られる量を特徴量と呼び, 目的に応じて, 様々なものが提案されている. 特徴量には大別して, ある画素の近傍の画素データのみから演算・抽出するローカル特徴量と画像の全画素から演算抽出するグローバル特徴量が存在する. いずれの場合でも, 演算の高速化が鍵となるが, 特にグローバル特徴量の演算は, 全画素のデータを用いた積分量 (例えば, モーメント特徴はΣΣの演算) となり, その高速化には工夫が必要となる.

画像のモーメントは, 画像処理における特徴量の1種である. モーメント特徴によって, 対象のサイズ (０次モーメント), 位置 (１次モーメント／０次モーメント), 傾き (２次モーメント)等の幾何情報を表現することができるとともに, パターン認識においても有用な特徴量として利用されている. 本研究室では, モーメント特徴の演算をアナログの並列回路や画素ごとにプロセッシングエレメントを搭載する超並列回路を利用することで高速に演算するいくつか方法を提案し, 実際に重心位置の計算で利用している.

流体あるいは流体に混入した粒子の動きをリアルタイムで計測する技術. 画像を用いた流体計測では, 流体中に粒子を散布し, その移動・位置情報から流速分布を時系列に得るPIV: Particle Image Velocimetryがよく知られている. フレームレートが不十分で粒子運動の直接計測ができない場合には, 粒子へ照射した光の散乱を観測し, 統計的な処理によって粒子数やサイズを特定する方法が用いられていた. これに対して, 本研究室で開発したリアルタイム多点計測は, 高速画像処理により, 通常オフラインでしか実行されない流体計測のリアルタイム化やパターン解析がリアルタイムで実現できるため, 粒子群のより高度な計測を行うことが可能となる.

紙媒体の書籍に印刷されている情報を電子化するための技術. 書籍スキャンあるいは書籍スキャニングとも呼ばれる. ネットワークや検索技術の発達並びに電子書籍の進歩に伴い, 書籍を電子化するニーズが全世界で急速に拡大している. 現在の技術は, コピーやフラットベットスキャナ等で培われてきた技術を活用したものが多く, 膨大な書籍を電子化するための技術としては, 速度と手軽さの面で十分ではない. 当研究室では, 書籍電子化の新しい方法として, ユーザがページをめくっている間に, 紙面の動きを止めることなく, 連続的に書籍を読み取る方法を提案し, 試作を行っている. この技術は, 高速3次元形状計測技術を用いて, ページめくりの最中のページの3次元形状を取得し, その形状情報を用いて撮像した映像をフラットなページ情報に変換する方法を用いており, 書籍を裁断する必要がなく, なおかつ書籍を上向きのままでスキャン可能である.

人間のジェスチャーを動作として認識する技術. ジェスチャーに応じた意味づけを行うことにより, 機器の操作を行うことを目的とする. 手だけの動作を対象とする場合と指の動きまで利用する場合があり, 前者は高速のジェスチャーの認識が, 後者は細かい指の動きを捉えることが課題である. テレビ (5m～3m), ゲーム･デジタルサイネージ (3ｍ～1ｍ), コンピュータ (30cm～1ｍ), 携帯機器･カーナビ(10cｍ～30cm)等における機器操作に応用することが考えられている. この際の手指の速度は, 通常のジェスチャーの手首の速度で50km/h程度と考えられ, 最高速度としては, 指先の動きで150km/h, 手首で100km/h程度と考えられる. これらの速度に対応した画像処理が必要で有り, 3次元認識が求められる場合もある. 出力は, 代表特徴点の時系列位置情報からパターン抽出を行い, ジェスチャーの意味の認識を行う場合が多い.

センシング技術, ディスプレイ技術, アクチュエータ技術等の進歩により, 人間の感覚運動系の能力をはるかに超えた感覚運動系が実現できるようになり, 人間と機械システムとの関係は, 大きく変化しようとしている. そのような人間の能力を超えたシステムを積極的に用いることによって, 新しい人間との相互コミュニケーションを実現する技術分野をメタパーセプション (本研究室の造語) と呼ぶ. 従来のシステムが人間の機能に合わせたシステムの構築を目指していたのに対して, 人工のシステムがそれらの機能を上回る性能を持つ場合には, そのままの形でシステムを構成しても人間側が対応できないので, 人間の感覚運動系の機能と構造を理解した上で, 人間にどのような情報をどのように加工して出すべきかを考える必要がある. そのようなシステムの実現により, 本来人間が知覚・認識できない情報に対しても, 人間の関与が可能となる.

スマートレーザースキャナは, 測定対象物に対して構造的な光線の運動を付与したレーザー光を当て, その反射光の強度変化を単一の受光素子で捉えることにより, 対象の形状や運動を捉え, それらに対して適応的な光線の運動を与えることにより, 対象に応じた光線の動きを実現するものであり, 光線の方向と反射光の強度から３自由度の計測が可能であり, 3次元位置計測, ２次元の対象の特徴トラッキング等を可能とするシステムである． 適応的な動作の設計に応じて, 意味のある動作を実現することが可能であり, 特にその高速性から, レーザー光が対象の変化に応じた動作を行うことが可能で, インタラクティブなインターフェイスにも利用することが可能である.

光学的な計測を行う場合, 計測に用いる照明やビームをそのまま, あるいは別の光源を用いて, 表示系を同一の光学系を通すことにより, センシングと表示を同時に実現する方法. 例えば赤外のレーザービームで皮膚から血管像の計測を行い, そのビームと同じ場所に可視光レーザービームで計測結果を表示することによって, 皮膚表面に計測結果の表示が可能となる. 実物に表示でき, なおかつ同じ光学系を用いることにより, センシングと表示の位置ずれを起こさないという利点がある.

従来のディスプレイは, システムがもっている情報を何らかの形で表示し, 人間に伝えるだけのものであり, 利用している人間の意思や意図は, ディスプレイではなく, キーボードやマウスを通してシステムに入力されていた. インタラクティブディスプレイは, 人間の意思や意図をディスプレイで直接入力することを可能にするもので, 人間とシステムの直接的な相互コミュニケーションを可能とするものである. ディスプレイに直接入力することは, ディスプレイの座標系と入力デバイスとしての座標系が一致していることを意味し, キーボードやマウスで必要とされる人間の脳の内部での座標変換が必要なくなり, 直感的で快適なインターフェイスが実現される. この際, 人間の動作から表示までのレイテンシーが操作感に大きく影響する. このため本研究室では, 高速ビジョンを用いることにより, 入力のレイテンシーをmsオーダーに押さえることにより, 高速の動作にも追従し, 追従性の高いディスプレイを実現している.

人間は, 自らの脳が指令した運動に対しては, 自らの感覚系を通して, その指令の実行状況を知ることができる. この性質を自己受容性と呼び, 身体性に関連した自己の認識を司るものとして, また異常の認識や他人や環境の存在の認識において, 極めて重要な役割を担っている. 脳の内部では, 遠心性 (efferent) の情報としての運動指令は, 運動系に伝達されるとともに, 認識系へもコピーされる. このパスは, 遠心性コピー (efferent copy) と呼ばれ, 求心性 (afferent) の情報である感覚系の情報と比較されて, 外界並びに身体のモデルの同定に用いられる. ヒューマンインターフェイスの設計では, いかに自己受容性を実現するかが一つの指標となり, インターフェイスにおける自己の認識の形成, ひいては没入感等の実現に重要な役割を果たす.

ヒューマンインターフェイスにおいて, バーチャルな世界に自己を何らかの形で投射した場合, その表現を自己のものとして理解できるかがバーチャルな世界への没入感の指標となる. 表現のテクスチャーやダイナミクス, 表示のレイテンシーや同期性等が関係し, 自己受容性の確保が鍵となる. また, 逆説的に自他の識別にもつながり, その明確な定義は極めて難しい課題とされている. 一般に, バーチャル世界で表現される自己は, 現実世界の自己とは違い, 情報のずれが存在し, そのずれの程度と人間の脳内での処理の関係で自他の識別が決定されるため, ヒューマンインターフェイスの実装にあたっては, 自己認識が容易なシステムの実現が一つの指標になる.

触覚に関連する知覚･認識の処理構造を対象とする学術分野. 皮膚の受容器としての触覚は, 機械的接触圧力や熱流・温度の表面分布を測定量とするセンサと見なすことができるが, 手をかざしただけでは対象の情報は得られず, 手を動かして対象に接触させて始めて情報の取得が可能となる. このような手の動作を触運動と呼び, 認識のための運動の発現として, アクティブセンシングの典型例の一つと考えられている. つまり, 触覚認識では,皮膚の受容器と触運動を一体のものとして考える必要がある. 触運動の発現は, 認識の準備行動, センサの動特性の補償, 局所性の回避, 空間分解能の向上, 表面テクスチャの認識等, 様々な機能に必要な機能である.

一般的な映像ディスプレイは, フラットな平面上に提示されるものであり、インタラクションもその平面上の2次元に拘束されるものであった. これに対して、映像が提示されるディスプレイ環境に、自由に変形するデフォーマブルな構造を導入することで, 3次元ユーザインターフェースとして全く新しいインターフェイスを提供することが可能となる. 具体的には, これまでの通常のマルチタッチの操作に加えて, 押し込みや変形といった新たな操作も可能となるとともに, インタラクションに応じて生じる曲面への映像提示を実現することができ, 様々な次世代のインタラクティブデジタルメディア環境を提案している.