12月に自分の中で結構大事な論文を投稿したけど、それはまだ言えないので以下では言えるやつだけ...！
in ムーンショット Cybernetic being
[拡張アバター接客]
CHI2024 （5月）
Yuji Hatada, Giulia Barbareschi, Kazuaki Takeuchi, Hiroaki Kato, Kentaro Yoshifuji, Kouta Minamizawa, and Takuji Narumi. 2024. People with Disabilities Redefining Identity through Robotic and Virtual Avatars: A Case Study in Avatar Robot Cafe. In Proceedings of the 2024 CHI Conference on Human Factors in Computing Systems (CHI '24). Association for Computing Machinery, New York, NY, USA, Article 61, 1–13. https://doi.org/10.1145/3613904.3642189
2023年の5~7月くらいに取り組んでいた研究をCHI2024に投稿し、2024年5月にハワイで発表してきました。めちゃくちゃ久しぶりに主著っぽいことをした...。
外出困難な方々がテレプレゼンスロボット「OriHime」を遠隔操作して接客を行う「分身ロボットカフェ DAWN ver.β」を舞台に、OriHimeに加えて一人一人オーダーメイドしたバーチャルアバターを接客に取り入れてもらいました。7名のパイロットさんと一緒に1か月の実証実験を実施して、身体の障害を「後景化」するロボットアバターと個性を「前景化」するバーチャルアバターのそれぞれの特性を明らかにしつつ、アバターを通じたアイデンティティの再構築について考察しました。
ナレッジイノベーションアワードで発表（3月）
Cybernetic being symposium 2024 サイバティック・アバターで私たちの暮らし，働き方はどう変わる？（3月）
加藤 寛聡，畑田 裕二，湯川 光，OriHimeパイロット(ゆい，さえ)（2024年3月）「トークセッション１ サイバティック・アバターの働く現場で生まれた小さな変化 -分身ロボットカフェの現場から-」
NHKのフロンティアという番組でも紹介されました
[分身ロボットカフェのこれまでの取り組みをまとめた論文]
武内 一晃・畑田 裕二 (equally contributed author)，山崎 洋一，吉藤 健太朗（2024）分身ロボット「OriHime」を用いた外出困難者の遠隔接客に関する実証実験．情報処理学会論文誌デジタルプラクティス（TDP），Vol.5，No.2，pp.10-19． https://www.ipsj.or.jp/dp/contents/publication/58/TR0502-02.html
分身ロボットカフェが2021年に日本橋に常設店を構える「まで」の話を、一緒に研究しているよしみで論文化させていただきました。2017年にクラウドファンディングと共に行われた一番最初の実証実験から2021年に至るまでの試行錯誤を読むことができます。
この論文がきっかけでプロジェクトメンバーが受賞もしていました。
[人生経験交換メタバース]
人生のターニングポイントに関する語りをVR体験として互いに「再現」する作業を通じて、他者への経験の共有と、本人の中での経験の再解釈を効果的に引き起こすワークショップめいた研究を最近やってます。
「みんなの脳世界2024～超多様～」（in ちょっと先のおもしろい未来2024）で展示も行いました
アバターを通じて誰かの人生（ライフヒストリー）を追体験してみましょう。自分とは違う立場や境遇を体感することで、自分の過去・現在・未来を見つめ直したり、その人生の持ち主との対話が促されたり、新たな人生経験の気づきが得られたり、より多彩な人生を歩むきっかけになるかもしれません。
clusterさんとコラボレーションして、みんなの思い出をclusterにワールド形式で投稿してもらうお祭りも開催します！
[VR学会全国大会にてOS]
南澤 孝太，嶋田 総太郎，柴田 和久，平田 仁，温 文，脇坂 崇平，畑田 裕二（2024年9月）「サイバネティック・アバターの認知神経科学的展開」．第29回日本バーチャルリアリティ学会 OS .
[and more! (WIP)]
進行中のプロジェクトがまだまだあります。来年に乞うご期待。
w/ clusterと（個人）
[ながらメタバース]
畑田 裕二，早瀬 友裕（2024年9月）「非没入型のメタバースにおける実環境とバーチャル環境間のマルチタスキングに関する調査」，第29回日本バーチャルリアリティ学会大会，2A1-04．https://conference.vrsj.org/ac2024/program/doc/2A1-04.pdf
本研究では，モバイル端末やPCを用いる非没入型のメタバース体験が，身体性の伴う没入型のメタバース体験とどのような質的違いを持つのかを調査した．VRChatやclusterのユーザーへのインタビューの結果，ユーザーは娯楽やソーシャルプレゼンスの体験を適度にカスタマイズするために，実環境とバーチャル環境間で注意を行き来させるマルチタスキングを実践していることが明らかになった．
最近「ながらメタバース」と題して、没入「しない」メタバースの利用形態について研究してます。clusterのメタバース研究所のかた湯さんと一緒にインタビュー調査をしました。↑の原稿をパワーアップしたフルペーパーも執筆中です。
[and more! (WIP)]
進行中のプロジェクトがまだまだあります。来年に乞うご期待。
幻聴・幻視当事者のVRワークショップ w/ 熊谷晋一郎先生
長井先生のCRESTの中で、東大の熊谷先生やべてるの家の皆さんと一緒にやっているプロジェクトです。バーチャルリアリティ（VR）技術を用いて統合失調症当事者の持つ個別具体的な幻視・幻聴体験を工学的に「再現」し、その体験を周囲の他者と共有することを通じて対話の場をひらくという当事者研究の実践をしています。
今年は「べてるの家創立40周年記念式典 ＆ 第32回べてるまつり in 浦河」に登壇・出展しました。
べてるまつりはめちゃくちゃ楽しかったしみんなにおすすめしたいので別の記事で詳細な報告をしたい、です。
プロジェクトの現状は雑誌「精神看護」に寄稿しました。タイトルは「共同創造から共同妄想へ──VR/AR技術を活用した幻視・幻聴当事者研究の実践」。
日本心理学会のパネルディスカッションでも発表しました
長井 志江，勝谷 紀子，畑田 裕二，鈴木啓介（2024年9月予定）「認知フィーリングとスティグマ低減」，日本心理学会第88回大会．
[and more! (WIP)]
w/ 苗村研究室の学生さんと
[メンタルヘルスケアを目的としたオープンダイアローグ形式のチャットボットの提案]
船越 舞斗, 畑田 裕二, ハウタサーリ アリ, 苗村 健: "メンタルヘルスケアを目的としたオープンダイアローグ形式のチャットボットの提案", HCGシンポジウム2024, C-6-1 (2024.12).【学生優秀インタラクティブ発表賞 受賞(2024.12.13)】
本研究の目的は、精神医療の現場で注目されている対話療法であるオープンダイアローグの方法論を用いて、メンタルヘルスケアのためのチャットボットを開発することである。本稿では、OpenAI APIを用いて開発したプロトタイプについて述べ、チャットボットを用いてオープンダイアローグの実現するための課題について検討した。予備実験を通して提案システムの長所やさらなる改良のための知見が得られた。
ずっと関心があったオープンダイアローグについて、学生さんと一緒に研究できるチャンスが巡ってきたので最近やってます。一人でテキストを打つチャットボット体験で、本来は対面で・肉声で行われている実践にどこまで迫れるのか。
℃0Button：氷の物性を活用したゲームコントローラ
田中 祐玖，畑田 裕二，Hautasaari Ari，苗村 健（2024年2月）「℃0Button：氷の物性を活用したゲームコントローラ」，インタラクション2024論文集 1A-04．
ビデオゲームの入力インタフェースであるゲームコントローラは,機能やユーザビリティの観点で多様な進化を遂げてきた一方で,その物性のデザインはあまり探求されていない.他方,タンジブルユーザインタフェースの分野では,インタフェースの物性がインタラクションに与える影響が盛んに探求されている.本稿では,市販のコントローラにはない溶ける,滑る,冷たいといった物性をもつ氷を活用したコントローラ「℃0Button」と,これを用いて遊ぶための横スクロールアクションゲームを開発した.氷が溶けることは時間制限やペナルティの表現に利用した.滑りやすさはコントローラへの注意を要するため緊張感を高めると考えられる.冷たさは操作の積極性に影響を与えると考えられる.
Seamlessの山下さんが記事にもしてくださった↓
小西 優多郎, 畑田 裕二, ハウタサーリ アリ, 苗村 健: "母語話者の英作文執筆過程提示システムを用いた非母語話者向け英作文学習の提案", 日本教育工学会全国大会, 2-S09D2 (2024.3).
田中 祐玖, 畑田 裕二, ハウタサーリ アリ, 苗村 健: "デュアルジョイスティックを用いた仮名入力の検討 ～子音と母音の両手へのマッピング～", ヒューマンインタフェースシンポジウム2024, 2T-D13 (2024.9).
沈 有方, 畑田 裕二, ハウタサーリ アリ, 苗村 健: "両眼に対する相補的な色振動付与の基礎検討", VR大会, 3E2-04 (2024.9).
[and more!]
インタラクション2024にもいくつか投稿しました。水面下で進行中のプロジェクトもまだまだあります！
w/ 葛岡・谷川・鳴海研の学生さんと
Hu, Yong-Hao, Yuji Hatada, and Takuji Narumi. "Impact of Role Assignment through Complementary Design of Self and Other Avatars on Self-Image and Behavior Change." 2024 IEEE International Symposium on Mixed and Augmented Reality (ISMAR). IEEE, 2024. https://doi.ieeecomputersociety.org/10.1109/ISMAR62088.2024.00103
本研究では、個人が他者から期待される社会的役割を内面化するという役割理論に基づいて、他者のアバターと自分自身のアバターから想起される役割の相補性が自己イメージや行動をどのように変化させるかを調査しました。実験では、「戦士」のアバターを使用する参加者が、「魔女」のアバターを使用するNPCと共に協力型のVRアクションゲームをプレイしました。片方の群ではNPCはサポート役に徹しながら、もう片方の群ではNPCと参加者はそれぞれ独立して（対等な立場として）戦闘を行いました。その結果、相補的な役割割り当てが、参加者の個人的な特性との相互作用を通じて、個人の行動や自己イメージに有意な影響を与えることが明らかになりました。
HU Yong-Hao, 畑田 裕二, 鳴海 拓志. "自己と他者アバタの対照的な外見が行動変容に与える影響." 日本バーチャルリアリティ学会論文誌 29.3 (2024): 143-152. https://doi.org/10.18974/tvrsj.29.3_143
プロテウス効果（アバターが自己イメージを変化させることで行動に影響を与える現象）の研究は主に参加者自身のアバターに焦点を当ててきましたが、本研究では、現実世界での自己イメージが他者との相互作用を通じて形成されることに着目し、自己と他者のアバターの外見の比較が行動に与える影響を探りました。社会的比較理論（自分より優れているまたは劣っている他者と比較することで自己評価を行う）を基に、参加者がスーツまたは法被（日本の祭りの衣装）を着たアバターを用い、仮想環境内でノンプレイヤーキャラクターとともに太鼓を演奏する実験を行いました。その結果、自己と他者のアバターの外見の比較が、太鼓演奏中の参加者の動きに影響を与えることが明らかになり、これは社会的比較のプロセスと類似していました。
Hu Yong Hao，畑田 裕二，鳴海 拓志，平木 剛史（2024年9月）「Researcher's Bar：メタバースを活用した実験プラットフォームと実装テンプレートの提案」，第29回日本バーチャルリアリティ学会大会，2A1-11．https://conference.vrsj.org/ac2024/program/doc/2A1-11.pdf
本研究では，HCI・VR 研究向けの実験基盤として，メタバース上での実験プラットフォームとそこで行われる実験の実装テンプレートの構築を提案し，参加者募集・実験系作成・実験実施の加速や簡便化を目指す．また，研究者と参加者双方の交流を促す空間として機能させることや，実験報酬による メタバース上の経済圏の活性化を通じ，研究とメタバースの相互発展を図る．プロトタイプはメタバースサービスである cluster を用いて開発する．
Xiaotong Li, Yuji Hatada, and Takuji Narumi. 2024. Social Simon Effect in Virtual Reality: Investigating the Impact of Co-actor Avatar's Visual Representation. In Proceedings of the Augmented Humans International Conference 2024 (AHs '24). Association for Computing Machinery, New York, NY, USA, 157–167. https://doi.org/10.1145/3652920.3652933
李 暁彤，畑田 裕二，鳴海 拓志（2024年9月）「ロボットアバタとの共同行為における外見の一致がwe-modeと自他の行為主体感の生起に与える影響」，第29回日本バーチャルリアリティ学会大会，1D2-01．https://conference.vrsj.org/ac2024/program/doc/1D2-01.pdf
刺激の空間的な位置（例: 左または右）とは無関係な情報（例: 音の高さや色）に基づいて反応を求められる「サイモン課題」において、刺激の位置と反応の位置が一致している場合、反応時間が速くなり、不一致の場合は遅くなります（サイモン効果）。この課題を「Go/NoGoタスク」に変更し、1人の参加者が特定の（片方だけの）刺激にだけ反応するようにすると、サイモン効果は消失します。しかし、このタスクを2人で分担し、片方の人が「赤い丸」に反応し、もう片方の人が「緑の丸」に反応する形式にすると、サイモン効果が再び現れます。これを「ソーシャル・サイモン効果（SSE）」と呼びます。
この研究では以下の2点を調査しました。(1) バーチャル環境内でのアバターの共同作業中にSSEが発生するか、(2) 協力者アバターの視覚的な表現がSSEにどのような影響を与えるか。結果、協力者のアバターが全身表示または完全に透明な状態で提示された場合にSSEが発生しましたが、両手のみが表示される場合にはSSEが弱まることが示されました。
山口 周，畑田 裕二，鳴海 拓志，谷川 智洋（2024年9月）「アバタの構造・動作の実装を効率化するツールキット「PoseSynth」の提案」，第29回日本バーチャルリアリティ学会大会，3B1-10．https://conference.vrsj.org/ac2024/program/doc/3B1-10.pdf
現実の身体のあり方を超越した構造・動作を有するアバタは様々な研究領域で役立てられている一 方で，その実装方法は様々であり，再利用が困難である．本研究では，アバタの構造・動作を扱うための規格を策定し，多様な構造を有するアバタの多様な動作を効率良く実装できるツールキット「PoseSynth」 を提案する．PoseSynth はアバタの姿勢を変換して別のアバタの姿勢に代入する処理を繰り返すことで， 様々なアバタの動作を効率良く実装できる．
山口 周, 橋浦 健太, 畑田 裕二, 鳴海 拓志. "ネットワーク構成を改良したPoseSynthによる融合身体の試作体験." WISS2024. 2-A23.
複数のユーザが 1 体のアバタを動作させる融合身体は人々の身体認知の解明や効率的な運動学習等 の用途に活用されている．これまでの融合身体は 2 人のユーザのみを対象とした，2 種類の異なる実装方法で検証されていたが，以前我々が提案したツールキット「PoseSynth」は，アバタの関節の姿勢を球面線形補間によって重ね合わせる手法により，両実装方法を統合した上で 3 人以上のユーザに対応し，新たな融合方法の実装と検証を容易にした．ただし，従来の PoseSynth でのネットワーク構成では同期しなければならない情報が多く，アバタの動作に遅延が発生していた．そこで本稿では，同期する情報の変更によって通信を高速化させる新しいネットワーク構成を採用した改良版 PoseSynth を提案する．デモ展示では，改良版 PoseSynth を用いて，誰もが自分好みの融合身体を手軽に試作できる体験を提供する．
Yamaguchi, Amane, Yuji Hatada, and Takuji Narumi. "Animation Overdubbing: Animation Creating Tool for Non-humanoid Characters by Mixing Multiple Pose Remappings." SIGGRAPH Asia 2024 Emerging Technologies. 2024. 1-2. https://doi.org/10.1145/3681755.3688944
山口 周，畑田 裕二，鳴海 拓志（2024年9月）「動作変換とその重ね合わせによる動物キャラクタアニメーションの作成」，第29回日本バーチャルリアリティ学会大会，1C2-01．https://conference.vrsj.org/ac2024/program/doc/1G-18.pdf
ヒトとは異なる身体構造を持つ動物等のキャラクタのアニメーションは様々な映像媒体で活用されているが，モーションキャプチャのような手軽な作成方法が少ない．本研究では，ユーザの身体動作をキャラクタの特定の身体部位の動作に変換して割り当てたアニメーションを作成でき，それらのアニメーションを重ね合わせることで，複雑なキャラクタアニメーションを手軽に作成できるツールを提案する．ユーザスタディの結果，参加者は概ね 10 分以内に動物キャラクタの全身アニメーションを作成できた．
Haruto Takita, Yuji Hatada, Takuji Narumi, and Michitaka Hirose. 2024. Motor Skill Learning by Virtual Co-embodiment with an AI Teacher Trained in Human Teaching Behavior. In ACM Symposium on Applied Perception 2024 (SAP '24). Association for Computing Machinery, New York, NY, USA, Article 11, 1–10. http://dx.doi.org/10.1145/3675231.3675237
田北 陽士，畑田 裕二，鳴海 拓志，谷川 智洋（2024年9月）「AIまたは録画データを教師とした融合身体を用いた運動学習効果」，第29回日本バーチャルリアリティ学会大会，3A1-09．https://conference.vrsj.org/ac2024/program/doc/3A1-09.pdf
VRは運動スキル学習を促進するツールとして注目を集めています。運動スキル学習を目的としたVRの研究では「融合身体（virtual co-embodiment）」が注目されています。ここでは、教師と生徒の動きを加重平均して1つのアバターとして統合する方法が使われており、人間の教師を用いた仮想共同体化が運動スキル学習の効率を向上させること、そして効果的な学習には教師の動作が重要であることが示されてきました。しかし、このシステムにはいくつかの課題があり、例えば、教師役を担う人間が教える技術や仮想共同体化の使用に熟練している必要があることや、生徒が教師に悪影響を与える可能性が挙げられます。
これらの問題を解決するために、私たちは長短期記憶（LSTM）を用いたAI教師を開発しました。このAI教師は、生徒の行動データと実験環境の状態を基に教師の行動を出力します。また、人間による仮想共同体化で得られた行動データを用いて、教師の動作を教師あり学習でトレーニングしました。このAI教師が人間の教師に似た行動を生成できることを確認し、AI教師を用いた仮想共同体化による運動スキル学習の効率を調査しました。
結果として、学習フェーズではAI教師との共同体化がパフォーマンスを低下させましたが、その後の独立した課題実行フェーズではパフォーマンスが向上しました。また、教師のアシスト割合を分析したところ、AI教師との共同体化では人間の教師と比べてアシスト割合が低いことがわかり、学習パートナーが支援的かつ妨害的な要素を混在させた場合に学習効率が向上する可能性が示唆されました。
リアルとバーチャル、親子で協力．イベント『ちょっと先のおもしろい未来 –CHANGE TOMORROW-』内「みんなの脳世界〜ニューロダイバーシティ展 2024〜」．
このワークショップでは、親子で力を合わせてバーチャル世界の冒険に挑戦します。親はバーチャルな世界に飛び込み、1人でミッションに挑戦します。一方で子どもは強力な能力を得て、外から親をサポートします。「次はあっちだよ！」と道を教えたり、危険が迫ったときに「気をつけて！」と守ってあげたり、普段とは少し違った親子の絆を感じながら、2人で世界を攻略しましょう。
竹中 舜，瑞穂 嵩人，畑田 裕二，鳴海 拓志，葛岡 英明（2024年9月）「セルフアバタによる身体化がVR回想法に与える効果」，第29回日本バーチャルリアリティ学会大会，2D1-11．https://conference.vrsj.org/ac2024/program/doc/2D1-11.pdf
國見 友亮，畑田 裕二，木村 健太，鳴海 拓志，持丸 正明（2024年9月）「声質の変化に伴う自己認識の変化についてのアンケート調査」，第29回日本バーチャルリアリティ学会大会，2D1-08．https://conference.vrsj.org/ac2024/program/doc/2D1-08.pdf
大河内 洋平，畑田 裕二，鳴海 拓志（2024年9月）「VR職業体験が自己拡張欲求に与える影響」，第29回日本バーチャルリアリティ学会大会，2D1-06．https://conference.vrsj.org/ac2024/program/doc/2D1-06.pdf
平尾 悠太朗，畑田 裕二（2024年9月）「重さ表象に関わるエッセイの質的分析を通じた重さ知覚誘発要因の探索」，第29回日本バーチャルリアリティ学会大会，1A1-07．https://conference.vrsj.org/ac2024/program/doc/1A1-07.pdf
松本 啓吾，小川 真輝，加藤 路瑛，畑田 裕二，鳴海 拓志（2024年9月）「視覚過敏がハンドリダイレクションの知覚閾値に与える影響の検証」，第29回日本バーチャルリアリティ学会大会，1A1-01．https://conference.vrsj.org/ac2024/program/doc/1A1-01.pdf
[and more!]
投稿中のものとか、目下進行中のものがたくさんあります。来年も乞うご期待！