- XRによる記憶の操作について提言した論文がバチクソ面白かったので共有
タイトル：Memory Manipulations in Extended Reality.
Author: 著者，所属
Elise Bonnail, Eric Lecolinet, Wen-Jie Tseng, Mark Mcgill, Samuel Huron, JanGugenheime Telecom Paris, IP Paris
Motivation： 研究の出発点
- 私たちの記憶には限界がある．なので記憶をとどめるためにカレンダーを使ったりする．しかし記憶はゆがむことがある．拡張現実を使えば，記憶を改ざんすることができるかもしれない(Memory manipulation)．なので，この研究では長期記憶に与える影響について記憶の研究者とワークショップを行い４８の記憶操作のシナリオを作成し，論じた．主に倫理的な面からも．
- XRMM：XR MemoryManipulation (XRを使った記憶操作)
Method: 研究手法
3つのスペキュラティブデザインワークショップを12人の記憶の研究者と一緒に開いた．それぞれのワークショップには2人のXR研究者と2人の記憶研究者がいた．XRMMに関しての48のシナリオができ，良いものについては深ぼって議論した． シナリオでは、次のような特定の質問に焦点を当てた - アプリケーションを誰が使用するのか、操作はどのように行われるのか - どのような認知プロセスに基づいて、XRの機能としてどう利用されるか
- 3つのワークショップは以下のように，記憶の改ざんの過程によってクラス分けされた
記憶についての前提知識
- 記憶の改ざんには，物忘れと記憶のゆがみの2種類があり，その中でも様々分けられる
- 記憶を外部デバイスに頼りすぎると色々と悪影響が出る可能性がある
Insight: 結果と知見
ENCODING時(覚えるとき）のXRMM
感情を引き起こすことによって記憶を増強するXRMM
- 強烈な感情は鮮明に正確に記憶することに役立つ
- しかしストレスや恐怖は記憶を強めたり変質させたりする
- 例えばVRで教習所の訓練をしている途中に事故を起こすなどすれば記憶を強化できる
- XRを使って強烈なポジティブな感情を引き起こせば，記憶を強化できる
注意をコントロールすることによって記憶を増強させるXRMM
- 物忘れは記憶する事に対して向ける注意が足りないことにより起こる（何か考え事をしていたり注意散漫だったり）
- それを防止するのがこの上記のシナリオ
- 注意を向ける対象は強調する
- 注意を向ける対象以外をぼやかす
注意を引き起こすXRMMに対しての考察
- 感情を引き起こすという意味ではXRを使わずともスマートフォンとかでもいいじゃん？という話はあるがフルダイブのVRはリアルな体験に近い鮮明な感情を引き起こすことができることが実証されてる
- 注意のコントロールについてもノイキャンのヘッドフォンやスマートフォンの集中モードなどが存在するが，視覚における注意コントロールという意味ではXRが非常にユニークである
AT RETRIEVAL（思い出すとき）におけるXRMM
- 記憶を保存しておく間も新しい記憶が保存されることによって古い記憶もダイナミックに変動する
- XRを反復ツールとして使えば過去に起きたことの記憶を持続させたり，過去の記憶に対しての苦しさを緩和させたり，記憶を補正することができる
反復による知覚への影響
- ポジティブな記憶を反復することは人を幸福にしたりポジxてぃぶにする
- ネガティブな記憶を反復することはつらい記憶に対する耐性をつけることに長期的に見れば役立つ
- シナリオ”Therapy”では過去の体験を再現したVRを患者に体験させ，セラピストとそれについて議論する
- シナリオ”トラウマの記憶”では患者のトラウマの記憶にセラピストがVRでダイブすることによって患者のトラウマを探る
提案によって記憶をねじまげる
- 思い出すときに間違ったものを思い出してしまうのは，記憶のソースを引き出すときに間違った目印を使って思い出してしまうので違う記憶が引っ張り出されてしまう
- シナリオ”Buy afriend”ではマイケルの過去のイベントを再現したVR映像を友達（例えばジム）とシェアする，ジムはイベントの仮想映像に自分のアバターをもぎりこませることができる
- マイケルが後でこのアプリを通してイベントを振り返るとき，いなかったはずのジムがそこにおり，マイケルの記憶がゆがめられるかもしれない．（結果ジムとマイケルは仲良くなれるかもしれない）
AT RETRIVALにおける考察
- このシナリオではイベントを３Ｄ映像として残す技術が必要
- 生成ＡＩなどを使えば将来可能かもしれない
- また動画や写真でもこの介入は可能だが，VRのほうが思い出させる力は動画や写真より高いという研究もある
- この技術は過去の記憶に対してポジティブな印象を持たせたり，記憶が生み出す苦しみを軽減させることができるかもしれない
- しかし，誰かからお金を盗むのに使うなど，悪意ある使い方も可能である
PRE RETRIEVAL（記憶してから思い出すまでの間）時のXRMM
記憶の目印を隠すことで物忘れを誘発させる
- シナリオ”AR Eraser”では記憶のはかなさを利用して，早く消したい記憶を消すのを手伝う
- 上の絵のように現実世界の消したい記憶（例えば彼女とのファーストキスの写真など）に関するオブジェクトをARで消すか別のものに置き換える
- こうやって記憶を呼び起こすものを視界から排除することにより，記憶の早期劣化を促す（これは面白い！！）
ストレスをかけることで物忘れを誘発させる
- あるワードを思い出したいのに思い出せない時，これを記憶のブロッキングというがブロッキングはストレスによって発生することが言われている
- シナリオ”False training app”はVR空間上でストレスがかかる環境（ユーザーの間に雲をかけるとか）を作り出し，そこでユーザーの記憶に関するテストを行うというもの．
PRE RETRIEVAL時のXRMMにおける考察
- これらのシナリオを実現するにはAIが必要（生成AIとか）
- AR Eraser次作ろうかな．．．
- FalseTrainingAppはスマホのアプリでもできるがXRならより没入した体験になり効果が大きくなる可能性がある
(One-sentence) Contribution Summary: 貢献を1行でまとめる
- XRを用いた記憶操作において,Encording(記憶するとき),Pre Retrival(記憶してから思い出すまでの間), Retrival(思い出すとき)の3段階に分けて，効果的なシナリオを提案した
キーワード
- Transience:記憶にアクセスできなくなること
- XRMM：XRMemoryManipulation，XRを使って記憶を操作すること
- AbsentMindness：物忘れ
感想
- 正直最近読んだ論文の中で抜群に面白かった
- XRを使った記憶操作とか発想がマジでサイバーパンク，クレイジー，最高．
- しかもXR研究者だけじゃなくガチの記憶の研究者と組んでワークショップを開いたゆえに出てきたアイデアでよかった．
- やはりＸＲを真面目に考えたら人間の記憶の仕方など医学的な知識は必須なんだなぁと思った
- しかも実装できそう（AR Eraserとか，視界を欠損させて集中力高めるやつとかちょっと作ってみたいわ・・・YoloV8で物体認識してそのゾーンを生成AIで背景だけの画像にしたらなんかイケそう）
- ワークショップをして，ＸＲの可能性を提案しただけでも論文になるんか．．．という発見もあった．
