- 読んで面白かった論文をまとめる
タイトル : Augmeted Reality for Maintenance Tasks with ChatGPT for Automated Text to Action
Author: 著者，所属
- Fang Xu,Tri Nguyen,Jing Du
- ICIC lab University of Florida
Motivation： 研究の出発点
- 工場におけるオペレーションやメンテナンス作業において，普通はテキストの作業指示書から特定の装置操作を行うが，テキストから特定のアクションを想起し，実行に動かすのは難しい
- かといって作業指示書を読むのも大変
- だったら，テキストの作業指示書を勝手に解釈して，ヴィジュアル的に作業を明示したらええやん！？
Method: 研究手法
システム
- Hololens2で以下のようなシステムを作った
システム図 - テキストの指示書を内蔵カメラで取ってOCRで文字を読み取り，ChatGPTに食わせる．
- そのあと，テキストに書かれた作業順番と該当するスイッチの名前を特定のフォーマットでChatGPTに吐き出させる
ChatGPTからスイッチの場所を吐かせる - あらかじめ作っておいたデジタルツインの分電盤と現実世界の分電盤の座標を一致させ，Hololensを使って作業手順を実際の分電盤に投影する．
Hololensで作業を投影 - 思った通りのふぉーまっとでプロンプトを吐いてくれるとは限らないので，フォーマット的におかしかったらプロンプト生成をやり直している
フォーマットに沿わなかったらやり直し - システムを使っている様子
Augmented Reality (AR) HoloLens and ChatGPT for Maintenance - YouTube
評価実験
- 18歳から30歳の人15人に対して行われた
- システムを使わない場合とAR＆GPTを使う場合で作業の実行速度と正確性を評価した
- あとNASA TLXとTrust Levelというので作業を行ううえでの作業者にかかる心理的負荷を計測した
- 各条件はそれぞれの条件でおんなじ人で行われた
Insight: 結果と知見
- システムを使った方が統計的に有意に作業が早くなった
- あんまり正確性は変わらなかった
- NASATLXとTrustLevelも有意に差がみられた
- 心理的ストレスがかかる状況では特に有用っぽいことが得られた
(One-sentence) Contribution Summary: 貢献を1行でまとめる
- O＆MにおいてChatGPT＋ARで心理負荷が低く迷いなく早く作業ができるシステムを作った
