masterhead masterhead  masterhead

携帯機器向け空中タイピングインターフェース

概要

近年携帯機器の小型化が進行し,携帯電話などが広く世の中に普及する一方で,機器表面に広い操作領域を確保する事は難しくなってきている. この問題は人間の手の大きさなどに由来する問題であり,解決するためには新たな入力インターフェースが必要不可欠である.

これまでにこの問題に取り組んでいる多くの先行研究が存在する. しかし,それらの先行研究の多くは特定の使用環境で使用可能なものや特別な機器を装着する必要があるものなど, 使用にあたって制約があるものが多い. 我々は外部機器や特別な環境を必要としない・直感的な操作が可能である・広い操作領域が実現可能といった特徴を備えた空中タイピングインタフェースを提案する.

本研究では,単眼カメラを用いて指先の動きを3 次元追跡し,指先の微小な動きをキーストローク動作として検出する. カメラから近い位置での指先の動きは、画像上で高速に移動するため、 高フレームレートカメラを用いることで安定したトラッキングを行った。 キーストローク動作を他の動作と分離して検出するために、 指先画像のスケール変化に対して周波数フィルタを適用した.


動画



関連研究

参考文献

  1. Takehiro Niikura, Yoshihiro Watanabe, Takashi Komuro, Masatoshi Ishikawa: In-Air finger motion interface for mobile devices with vibration feedback, IEEJ Transactions on Electrical and Electronic Engineering, Vol.9, No.4, pp.375-383, 2014. [link]
  2. Takashi Komuro: Vision-based 3D Input Interface Technologies (invited), The 17th International Display Workshops (IDW '10) (Fukuoka, 2010.12.2) / Proceedings, pp. 1739-1742.[PDF]
  3. Takehiro Niikura, Yuki Hirobe, Alvaro Cassinelli, Yoshihiro Watanabe, Takashi Komuro, Masatoshi Ishikawa: In-air typing interface for mobile devices with vibration feedback, ACM International Conference on Computer Graphics and Interactive Techniques (SIGGRAPH 2010) (Los Angeles, 2010.7.25-29) / Proceedings. [PDF]
  4. Takehiro Niikura, Yuki Hirobe, Yoshihiro Watanabe, Takashi Komuro, Masatoshi Ishikawa: 3D Input Interface for Mobile Devices, 12th Virtual Reality International Conference (VRIC 2010/Laval Virtual) (Laval, 2010.4.7-11) / Proceedings, pp.297-298.
  5. Yuki Hirobe, Takehiro Niikura, Yoshihiro Watanabe, Takashi Komuro, Masatoshi Ishikawa: Vision-based Input Interface for Mobile Devices with High-speed Fingertip Tracking, 22nd ACM Symposium on User Interface Software and Technology (UIST2009) (Victoria, 2009.10.5) / Adjunct Proceedings, pp. 7-8.[PDF]
  6. 廣部祐樹, 船橋一訓, 新倉雄大, 渡辺義浩, 小室孝, 石川正俊: 単眼カメラを用いた携帯機器向け空中タイピングインターフェース, 映像情報メディア学会 情報センシング研究会・メディア工学研究会(金沢,2009.6.16)/映像情報メディア学会技術報告 Vol. 33, No. 23, pp. 65-68 (IST2009-32,ME2009-108)

プレス記事

  1. 空中タイピング 東大がインターフェース 指の動き3次元検出,日刊工業新聞 2009年12月28日
  2. 空中で指を動かすだけでタイピングできる携帯機器向けの次世代インターフェースが開発される,GIGAZINE 2009年12月28日 [Link]
  3. 東大の石川教授ら、空中でタイピングできる携帯機器向け新型インターフェース開発, ロボナブル 2009.12.28 [Link]
  4. New Input Interface by Tokyo University can capture in-air movement of fingertips, GIGAZINE(EN), Jan 03,2010 [Link]
  5. Video: Japanese demo a new input mechanism that involves waving your fingers in front of a screen, IntoMobile, January 3rd, 2010 [Link]
  6. Vision-based Input Interface Technology for Next Generation Smartphones, My Digital Life, January 3rd, 2010 [Link]
  7. Nowy interfejs bezdotykowy zrewolucjonizuje rynek?- film, TELIX.PL, 2010-01-03 [Link]
  8. New Input Mechanism That Lets You Wave Your Fingers At Your Phone, übergizmo, Jan 3 2010 [Link]
  9. Japanese develop new input mechanism for cellphones, OnlyGizmos, January 3rd, 2010 [Link]
  10. Japanese Professors Develop “Vision-Based” Mobile Phone Interface, TeleClick.ca, January 3, 2010 [Link]
  11. Will touchscreen devices be a thing of the past?, mobilesyrup, January 3, 2010 [Link]
  12. Vision-based Input Interface, übergizmo, Jan 4, 10 [Link]
  13. Profesors From Tokyo University Invented New Vision Based Input Interface?, Symbian Freak, 04 January 2010 [Link]
  14. Tokyo University create in-air motion interface for mobile devices, geek.com, Jan. 4, 2010 [Link]
  15. Dial a phone number using in-air gestures, cnet news, January 4, 2010 [Link]
  16. Next Evolution in Mobiles: Hand-Waving Cell Phone Controls?, SWITCHED, Jan 4th 2010 [Link]
  17. No Touch Vision Input For Smartphones, Coated, January 4, 2010 [Link]
  18. No Touch Apparition Input For Smartphones, thebestDIGITAL.com, 4th Jan, 2010 [Link]
  19. Video: Non Touch Vision Input on Mobile Phones, phones review, January 4th, 2010 [Link]
  20. Japanese Researchers Demonstrate Cellphone Gesture Recognition, MAXIMUMPC, 01/04/10 [Link]
  21. New Touchless Mobile Interface Could Eliminate Fingerprint Smudging Forever, GIZMODO, Jan 4, 2010
  22. [Link]
  23. Une interface homme-machine qui se pilote du bout du doigt, PC INpact, 04 janvier 2010 [Link]
  24. New Input Mechanism Demoed, 3D Motion of Human Fingertip in Action (Video), GSMDOME, January 5th, 2010 [Link]
  25. Latest technology: Touchless mobile interface invented by Tokyo University, Gadgetlite, January 5th, 2010 [Link]
  26. Tokyo University's touchless pointing system could wipe out smudgy screens, Engadget, Jan 5th 2010 [Link]
  27. Une interface virtuelle sans clavier ni souris !, Futura-Techno, 5 janvier 2010 [Link]
  28. Telephonie: apres le tactile, le gestuel, 01net, 06/01/2010 [Link]
  29. Ilyen lesz a jovo mobilja? video, Technet.hu, JAN 09, 2010 [Link]
  30. 携帯端末、指触れず操作 東大が新技術 高速カメラ、しぐさ認識,日経産業新聞 2010年4月22日
  31. Gesture Control for Devices, Technology Review, April 26, 2010 [Link]
  32. Project Natal-style interface developed for mobile phones, recombu.com, 26th April 2010 [Link]
  33. Video: No-touch, mid-air 3D input interface for mobile devices, CrunchGear April 26, 2010 [Link]
  34. Cellphones could make Natal plunge, sort of, übergizmo, Apr 26 2010 [Link]
  35. Finger-tracking smartphone promises Project Natal style interaction, SlashGear, Apr 26th 2010 [Link]
  36. 3D Input Interface funktioniert ohne Touchscreen, mediauser, 26. April 2010 [Link]
  37. Japanese Show Off Gesture-Controlled Phone For Natal-Style Emailing, Gizmodo, Apr 26, 2010 [Link]
  38. New mobile phone input takes the touch out of touchscreen, Geek.com, Apr. 27, 2010 [Link]
  39. Innovative 3D Input Interface for Mobiles Looks Like Project Natal Material, concept phones, April 27th, 2010 [Link]
  40. High-Speed Camera Enables Touchless Gesture Control of Smartphones, POPSCI, 04.28.2010 [Link]
  41. 指先で伝える!, テレビ東京 ワールドビジネスサテライト トレンドたまご, 2010.04.28 [Link]
  42. Cell Phones Using Gesture Control, PhysOrg.com, April 29, 2010 [Link]
  43. 空中タイピング! 東大の3Dジェスチャ認識携帯(動画あり), Gizmodo Japan, 2010.05.08 [Link]
  44. 情報端末操作 直感的に 視線・身ぶり認識技術 活用へ , 日本経済新聞 2010年6月20日
  45. キーボードのさきっちょ『空中タイピング インターフェイス』, テレビ朝日 さきっちょ, 2010.06.29 [Link]
  46. Holographic Displays, Robot Eyes Hint at Your Interactive Future (SIGGRAPH 2010 review), WIRED Gadget Lab, August 4, 2010 [Link]
  47. SIGGRAPH 2010: Best of the emerging technologies, Icrontic, August 5, 2010 [Link]
  48. [SIGGRAPH]製品化前の次世代バーチャルリアリティ技術が盛りだくさん。「Emerging Technologies」展示セクションレポート(2), 4Gamer.net, 2010/08/12 [Link]
  49. タッチしないでタッチパネルを操作!?画像処理技術の進歩に迫る!, BSジャパン 世の中進歩堂, 2010.09.17 [Link]
  50. (空中タイピングインターフェース), 日経CNBC NIKKEI Japan Report, 2010.11.27
  51. (空中タイピングインターフェース), 日本テレビ 世界一受けたい授業, 2010.12.11
  52. タッチパネルの未来系(下), 日本経済新聞 電子版, 2011.1.2 [Link]

東京大学 情報理工学系研究科 システム情報学専攻 ・創造情報学専攻 / 工学部 計数工学科 石川渡辺研究室
Ishikawa Watanabe Laboratory WWW admin: www-admin@k2.t.u-tokyo.ac.jp
Copyright © 2008 Ishikawa Watanabe Laboratory. All rights reserved.
logo