野﨑　大阪大学歯学部附属病院では、産学連携プロジェクトとして、2020年4月から「myDentalAI」を推進しています。具体的には、カメラやセンサーを用いて、歯科診療で使用する診療用器具、タービンやコントラが配備されたチェアユニット、さらに歯科医師や患者さんの動きなどをもとに、様々な医療情報を計測してきました。現在、計測データの蓄積が進み、カルテ草案の自動生成や緊急時の危険回避、最適な診療環境、教育支援という4つの実現を目指し、研究を続けています。
研究当初は、レセプトデータを二次利用する目的で、当時蓄積されていた約10年分のレセプト資料に記載された情報を徹底的に言語分析してみました。すると、歯科医師が報酬を得るために必要な記載や入力情報が主要因として抽出されることがわかってきました。私が欲しい情報は、患者さんやその医療行為の現場から直接得られる、加工されていない生のデータ、つまり一次情報です。しかし、その一次情報を得るためには様々な障害があり、簡単ではありませんでした。そこで頭を抱えていた時に、岡先生が口腔医療情報部に来てくれたわけです。
岡　野﨑先生から、「一次情報を抽出するための方法が見つからない」という話を伺って、自動車の運転支援システムの考え方が応用できるのではないかと思いました。私は昔から自動車が好きで、日本のある自動車メーカーがステレオカメラを使用して、「車線逸脱警報」「車間距離警報」「車間距離制御クルーズコントロール」という機能をもつ運転支援システムを開発したことが当時、話題になっていました。「レーダーを使わずカメラだけで、どうやって人や車、道路の白線を認識できるんだろう」と不思議に思っていました。また、その頃よく通ったドーナツショップに「パン識別AIレジ」が導入されていました。トレーに置かれたいろんな種類のドーナツを一瞬で識別して会計を自動化する、あのシステムです。この仕組みも画像認識用のカメラとAIが融合してできたシステムですが、当時はAIもそれほど馴染みがない時代で、私は画像認識のメカニズムにとても興味を抱きました。そこで、野﨑先生に「画像認識について勉強してみたいです」とお願いして承認いただいたところから、「myDentalAI」の構想が本格的にスタートしたような気がします。
野﨑　ドーナツショップのトレーにドーナツを置くのは、歯科の診療用トレーに器具を並べることと似ているし、人や物体の認識や診療の動きを検知する仕組みも自動車の運転支援システムと似たところがあるので、岡先生の目のつけどころに、とても感心しました。
岡　診療用トレーの上に置かれた診療器具をカメラで撮影して、一つひとつの使用用途を認識させることで、具体的な診療内容がわかってくるかもしれないと考えたのです。画像認識には、その画像が何であるかを識別する「画像分類」と、物体の種類と位置を類推する、画像分類より高度な「物体認識」の2つがあります。ドーナツショップや診療用トレーは、1つのトレーの上に複数の物が置かれているので、「物体認識」に該当します。歯科の場合、器具が重なり合って置かれていることも多く、なかなか一筋縄ではいきませんでした。大学院生1年目の頃に画像認識の研究を始めて、足掛け2年ほどこの研究にどっぷり浸かってしまいました。
野﨑　歯科の器具は似た形状のものが多いので認識は特に難しいですよね。
岡　そうなんです。細長い器具も多くて、器具全体を認識させると認識効率が上がらないんです。そこで、その器具の特徴をなす先端部分を中心に識別させることで、少しずつ精度が上がってきました。そうした試行錯誤を繰り返しながら、高い精度で器具を認識させるところまで漕ぎ着けることができました。
野﨑　次の課題は診療内容の特定でしたね。
岡　はい。それには2つの方法があって、処置後の器具の状態で判別する方法と、処置の最初から最後までの間に器具がどう変化したかによって判別する方法です。この2つの違いは、時間軸の有無にあります。最初から最後までを認識させるには診療時間が長く、最初の情報が薄まってデータ分類がうまくできないという問題がありました。そこで時間を区切って、その都度分類を行い、その傾向の多数決で判別していくと少し精度が上がりました。ちなみに、この推定システムは2020年に特許を取得しています。
野﨑　細分化された小さなデータに区切った方が、並列で一気に計算できるので効率が良いという理屈ですね。
岡　近年では、当時難しかった長時間のシーケンスデータ全体を並列で処理できるTransformerと呼ばれる深層学習モデルが開発され、実用化されています。「myDentalAI」は、時代の進歩とともに、こうしたアルゴリズムも取り入れながら、進化を続けています。

野﨑　その研究の過程で、モリタグループに協力いただけることになりました。大阪大学サイバーメディアセンターの下條真司センター長が、岡先生の研究に非常に関心を持ってくださり、「歯科医院では必ず患者さんがチェアユニットに座るんだから、そこから得られる情報を抽出したらどうか」というアドバイスをいただいたことがきっかけです。研究を始めた当時は個人情報の制限がとりわけ厳しくて、個人情報の映らないトレー上の器具情報しか抽出できなかったのですが、2019年頃から学術研究目的の使用に関して、少しずつ規制が緩和され始めました。その流れもあって、モリタグループの方が本校に来てくださり、「次世代のチェアユニットを作ろうじゃないか」ということで、大いに盛り上がりました。
岡　モリタグループに協力いただいていちばん変化があったのは、チェアユニットからの診療情報が採取できることでした。先述したように、それまではトレーの上に小型のカメラを装着して診療器具のデータを採取しているだけでした。一方、ほぼ同時期に「スペースライン EX」というチェアユニットに「IoTサポート機能」という機能がオプションで搭載されるようになっていました。この機能は、モリタのオンラインサービスを経由して、チェアユニットの稼働状況のデータを収集・解析することで、修理やメンテナンスのサポートに貢献するものでした。その他にも、チェアユニットの動作に連動してハンドピースなどの使用ガイドをモニター表示する診療面でのサポートや、患者さんの待ち時間やチェアタイムの情報を見える化する経営サポート機能も備わっています。これらの機能は、チェアユニット内部のログデータを利用して実現しており、カメラによる画像認識機能を加えることで、さらに詳細な一次情報を取得することが期待できるようになりました。
野﨑　私の研究の原点には、「歯科診療の上手・下手はどこで決まるのか」「上手な診療とは何なのだろう」という部分を科学的に解き明かしたいということがありました。岡先生の研究成果によって、歯科診療で使う器具の認識や使用する順序の傾向が徐々に明らかになってきました。その次の段階として、「どのようにすれば歯科診療が上手にできるようになるのか」というところを追求していく研究が必要になってきます。そこで、モリタグループからデータ収集のために、4台の画像認識カメラを設置するアイデアをいただいたのです。
岡　これまで蓄積してきたデータは、レセプト情報をもとにした処置内容をベースに検証してきましたが、見方を変えれば、術者の時間的な成長という教育的な視点で見ることもできます。その人の成熟度や処置内容をはかったり、どのような手法が患者さんにとって上手と感じる診療なのか、というように様々な軸から検証するためのベースとして、4台のカメラを設置して診療情報を採取してはどうか、というのがモリタグループからの提案でした。ちょうどその頃、先述した個人情報保護法の緩和が追い風になって以降、現在まで約3,000件の医療データを蓄積するまでになりました。
野﨑　これまでの感覚では、例えば町で市販されている製品が次の日になると、突然内部機能がアップデートされることは考えられなかったわけです。しかし現在では、それがある種当たり前の世の中になりつつあります。今後チェアユニットもスマートフォンのように適宜アップデートを行って、昨日までできなかったことが今日からできるようになるような未来が見えてきました。モリタグループの開発者の方々も「次世代の歯科用チェアユニット」について様々な想像を膨らませながら、私たちと共に歩んでくださっていると感じています。
岡　自動車で例えると、安全第一で、かつ利便性を高める理由から、エンジンやサスペンション、操作性基準の性能など物理的な機能を追求してきました。最近では、それをさらにブーストするために、ソフトウェアのアップデートによって制御するという部分に磨きをかけています。歯科用のチェアユニットも、今後同じような傾向に進むことは理にかなっていると思います。
野﨑　大阪大学としても、オピニオンリーダーの役割を果たしてくれる企業と協業していきたい想いを強く持っています。情報と機械が融合することで可能になる、そういうものを私たち人類は今後創造していかないといけません。とは言え、口腔領域の場合は狭く、高い精度が必要です。また、決められた診療時間という制約がある中で、難しい部分はありますが、今後取り組んでいく意義は大きいと考えています。