水とのふれあいが実現する新しいコミュニケーション

島根大学大学院 総合理工学研究科 総合理工学専攻 教授 平川正人

－魅せる対話型インタフェース－

研究背景

• ものづくりの優秀性を世界に誇った日本が陥った罠 – 自らの技術に溺れる … 白雪姫における女王「鏡よ鏡、世界で一番美しいのは誰？」

– 工業デザイナーの秋岡芳夫氏いわく、「この10年間に

、どんどん生活技術を失い続けた日本人は、類猿人になってしまったように見えます。類猿人は、道具は上手に使うけれど道具は作れない人間のことで、チンパンジーによく似た人間のことです。… 日本でしか作

り出せないモノを目指すべきだろう。消費するモノではなく愛用できるモノをこれからは作るべきだろう。」

• 技術はあくまでも利用者のために！ – 願いを叶える

• 必要なときに必要なものが手に入る（物質的要請）。 – 野菜工場 – サプライチェーン・マネージメント

• 思い通りに動作する（機能的要請）。 – ゲームコントローラ（Kinect）

– 夢を提供する • 「持つ喜び、使う喜び」を提供する。 • 技術を見せる（魅せる）。

研究背景

研究背景

• では、どのようにして実現するか？ – 「何が作れるか」ではない。技術（人工世界）の中に答えを求めるのではなく、我々が暮らす物理的世界（自然・環境、そして人間）の中に答えを探すべき。

– 技術に偏重せず、物理的世界に逆らわない試みの例 • 産業革命（機械化）→アートクラフト運動／民藝運動 • 食品添加物→添加物フリー • 原子力発電→風力発電、波力発電、地熱発電 • CUI →GUI →タブレット（タッチパネル）

研究室で取り組み中の研究 • 歩行特徴に基づく情報提示システム*

①歩行時の 圧力値取得

④推定結果 アニメーション

②靴領域の抽出

③下肢姿勢の推定

– 靴を履いた状態でフロアセンサ上を歩行した特徴から、身体特徴や感情などの推定を目指しています。

– 姿勢負担を軽減する操作パネル、利用者の感情によって表示内容を変える対話型ディジタルサイネージ、美容／リハビリ支援などへの応用展開が考えられます。

展開イメージ

* 同研究は科研費の助成を受けています

研究室で取り組み中の研究 • 音と映像を組み合わせた協調作業支援システム

– 音像を任意の（スピーカ位置に依らない）位置、形状で提供することができるテーブル型システムを実現しました。

– 利用者の立ち位置に依らず、同一の音像を全員で共有することができます。

– 利用者はジェスチャ操作が可能で、回想法支援やエンターテインメントなどへの展開を模索しています。

新たな挑戦

• 新しい情報付加価値型機器の開発 • 物理的世界に優しい素材として、今までに見落とされてきたモノは？

水

新たな挑戦

• これまで何ゆえ水は電子機器に結びつけられることが少なかったのか？ – 電子機器に水がかかると故障の原因 – 着水部位の濡れ – 重い（100cm×50cm×20cmの容積でも100kg） – 水質維持管理への配慮の必要性

新たな挑戦

• その一方、水を使って効果的なこと – 多様なフィードバック情報を提供（触覚、温度） – 機器と対極にある物質（水）を結び付けることによる驚き／アピール性

– 人間にとって、とても身近な存在 • 羊水の中で育ち、幼少時代には水遊びに 戯れ、大人になれば浴室／温泉でリラク ゼーション／保養を楽しむ。 • 日本では井戸、西欧では噴水は人々の 生活の中心に位置してきた。

– 単純に、楽しい！

実現したシステム

• 水を媒体に用いた身体動作取得および情報提示装置 – 水槽に挿入された手指等の3次元位置を取得

します。その際、先端部の位置だけではなく、領域（3次元ボリューム）全体を捕捉します。

– ジェスチャを認識し、それに基づいて必要な視覚的フィードバックを返すこともできます。

これまでのシステム開発取り組み

• バージョン１： 桶を用いた仕様 – ジェスチャの認識用に桶上部にカメラを設置するとともに、同じく桶上部にプロジェクタを設置することで、水面に映像を投影することが出来るようになっています。

– これらの結果、例えば投影した映像要素（例えばアルファベットの“A”）を両手で「すくう」ことにより、それを変化させること（Aに連想づけられた“林檎”を提示）ができます。

これまでのシステム開発取り組み

• バージョン２： FTIR（Frustrated Total Internal Reflection）を活用した仕様 – 水槽側面に青色LEDを多数設置して

います。その光は水中に進入後は全反射によって水中に留まりますが、手指が水中に差し込まれるとそこに投影され、その色領域を水槽下部に設置したカメラで取得します。

– 複雑な画像処理を施すことなく、加えた光源の色に絞って識別することで対象物体を追跡することができるため、高精度にジェスチャの取得が行なえるという特徴があります。

– また、水面への映像提示用にプロジェクタを水槽上部に設置しています。

– すくった水を水槽に落として生じる泡によっても作動し、想定外の挙動が楽しめます。

青色LED 拡散

水

webカメラ

これまでのシステムの問題点 • これまでの開発で課題として挙げられた点

– 手指等といった対象物体の獲得のためにカメラを設置していますが、対象領域をカバーするために水槽から離してカメラを設置する必要があり（試作した平面サイズ500×370mmのアクリル製水槽で64cm）、必然的に大きな設置場所が必要となります。

– カメラ２台を使って奥行き方向の計測が可能ですが（水平方向で0.26mm、深さ方向で1.1mmの精度）、同精度を確保するにはカメラを高精度で設置する必要があります。

– 設置場所の光（明るさ）によって認識率が影響を受けます。

• 機器自体がコンパクトで、かつ維持管理の容易さ、外光の影響を受けにくい機構への期待

最新版システム構成 • レーザモジュール（650nm; 1mW）とフォトトランジスタをペアにした光

遮断センサを水槽側面に網目状に設置し、深さ方向を加えた3次元位置を取得します。

– 実装上は、9行×17列のセンサを搭載したパネルを3枚積層 – センサ数（現在は合計78組）は想定する応用に依存

• 37インチ映像提示装置を水槽下部に設置しています（頭上にプロジェクタ設置の形態も可能）。

フォト トランジスタ

（３層）

赤色レーザ （３層）

映像提示装置 フォト

トランジスタ （９行）

フォトトランジスタ（１７列）

．．．．．．．．．．

赤色レーザ（１７列）

赤色レーザ （９行）

． ． ．

．．．．．．．．．．

． ． ．

水槽

最新版システム構成

• 処理の流れ – センサ群からの出力をマルチプレクサを使って順次読み取り、そ

れらをArduinoマイコンボードを用いてPCに取り込みます。 – 取り込んだシリアルデータに対し、Processing言語によってアプリ

ケーション開発を行なっています。

センサ アレイ

マルチ プレクサ

Arduino ソフトウェア （PC）

モニタ

機器本体

最新版の外観

外寸：980mm×650mm×350mm 水槽大きさ： 884mm×500mm×200mm （アクリル板厚さは15mm） センサ間距離： 50mm（足や手の挿入を想定）

実装を通しての知見 • レーザ光は直進性が高い代わりに、わずかな光軸のずれでも受光部で

は大きな位置ずれになります（例えば0.324度のずれが884mm先の受光部では5mm）。そこで次のような対策を施しています。

– レーザモジュールは軸方向２か所でネジ止めるようして微調整を実現 – フォトトランジスタには集光レンズ（直径18mm）を取り付け

• 青色に比べて水に吸収されやすい赤色のレーザでも伝達能力は十分 • 家庭風呂に入浴剤を入れた程度の白濁度であれば検知可 • 通常の使用温度範囲であれば動作に支障なし

デモンストレーション展示

• しまね情報分野産学交流会（2012/3/15）に出展

足湯への展開を想定して説明

想定される用途

• エンターテインメント／観光 – 観光客が訪問するための動機づけとなる 「仕掛け」

• 風呂、水周り機器（癒し効果） – 親子の絆を深めるコミュニケーションツール – 水周りを核に家族が集う家づくり

• リハビリテーション – つらいリハビリを少しでも楽しくし、継続して取り

組めるようにするための仕掛け – 水抵抗による負荷を提供することができ、想定リ

ハビリによっては水温調整による効果期待

実用化に向けた課題 • 応用に即したコンテンツの開発

– 楽しい施設を、より魅力的に → 差し込んだ手の位置や深さに応じて変わる波紋、手の周りを泳ぐ魚、手の動きに合わせて移動する花びら、など

– 退屈な作業を快適なものに → 動作に応じてスコアや場面が変わるゲーム仕立て、など

• ジェスチャ認識の実装 – 応用に合わせた所望のジェスチャを認識できるような技術

• 未実装機能の追加 – 水が流れる音はヒーリング効果が期待でき、また水温調節による適切な刺

激提示 – 匂いを付加提示することにより、利用者の興味を更に誘引

• 安全性・衛生面への考察 – レーザ光による人体へのダメージのリスク軽減（常時発光ではなく、必要な

ときに必要なレーザのみ発光） – 応用によっては清潔な水を維持するための水質管理の必要性

企業への期待

• ＩＴ系企業はもちろん、これまで情報分野とは距離のあった企業との連携を望んでいます。 – 電気・電子関連 – 住宅／水周り関連 – 医療関連 – エンターテインメント／コンテンツ／観光関連 – デザイン関連、など

• 人間には切っても切れない素材である水について、情報技術と結びつけることで、これまでとは異なる新たな製品展開を引き出し、世界に向けて発信していくためのパートナを求めています。

本技術に関する知的財産権 • 発明の名称：対話型インターフェース方式および対話型インターフェース用プログラム – 登録番号：特許第4665172（2011年1月21日） – 出願人：国立大学法人 島根大学 – 発明者：田部 ちえみ、平川 正人

• 発明の名称：３次元水中インタラクティブ装置 – 出願番号：特願2012-034751（2012年2月21日） – 出願人：国立大学法人 島根大学 – 発明者：グナワルダナ ケンナントゥダワゲ サンジーワ ラシス，平川 正人

謝辞：本研究は、平成23年度A-STEP探索タイプ「水を媒体に用いた３次元ジェスチャインタフェース装置のコンパクト化実現」による成果です。

問い合わせ先 島根大学大学院 総合理工学研究科 総合理工学専攻 教授 平川正人 電話&FAX： 0852-32-6476 電子メール： hirakawa@cis.shimane-u.ac.jp ホームページ： http://www.cis.shimane-u.ac.jp/~hirakawa/ 【担当コーディネータ】 島根大学 産学連携センター 連携企画推進部門 准教授／産学連携ﾏﾈｰｼﾞｬｰ 丹生晃隆 知的財産創活部門 教授・産学連携ﾏﾈｰｼﾞｬｰ 阿久戸敬治 電話： 0852-60-2293; FAX: 0852-60-2395 電子メール： tansho@riko.shimane-u.ac.jp