生涯教育講演会オンデマンド問題をAIにやらせてみた

明け方、ラグビーワールドカップの日本対イングランド戦を見た。前半は日本の方が押している場面が多かった。しかしやはりイングランドの地力がまさった。後半の日本はちょっとした判断ミスでトライを取られ、その後はずるずると後退した。まあ私の予想どおりの結果だったな。ラグビーは高校時代の体育で習っただけだど、ずっと試合を見ていればどっちが強いかなど素人でもだいたい分かる。今大会はフランスと南アフリカあたりが強そう。ランク1位のアイルランドの試合をまだ見ていないので、近々予選リーグでの南アフリカ対アイルランド戦が楽しみだ。

さて今日はほぼ丸1日、日本内科学会の認定内科医の単位取得のための生涯教育講演会のオンデマンド問題をずっと聴いていた。各年度にA、B、Cセッションがあって各講演30分ほどだいたい7講演あり、それで5単位取得出来る。しかし各講演後に2題計14問題がありそれを60％以上の正解率を取らないとだめだ。来年3月までに総単位25単位を取らねば認定内科医を取り消される。現在私は10単位しかなくあと15単位が必要。それで今日は朝から晩まで頑張ったのである。

最初のAセッションは胃癌や慢性膵炎、喘息、脳卒中などなじみのある疾患の講演で面白く聴けたが、Bセッションは心臓、整形外科、統計学なんてのもあって出された問題もすぐには返答出来ないのも多かった。たいていは講演のビデオを視聴し直せば解答は出せる。しかしAに午前中、Bで夕方までかかり、少し疲れた。Cセッションはぱっと見、さらに興味の薄い専門外の分野が多かったので、Aセッションの2019年度のものを選んで視聴することにした。炎症性腸疾患、アルコール性肝障害、脳血管障害、リウマチ、喘息などだ。一つのセッションを真面目に聴くと3時間半から4時間も掛かる。途中からはNetflixなどでおなじみの1.5倍速で聴いたよ。結局夜の23時ごろまで掛かって、問題の正解率もA12/14、Bが13/14、2019のAが13/14と80〜90％以上で各5単位計15単位をしっかりと取得出来た。ふう〜だ。

最後のあたり、少し迷った問題をふと「生成AI（ChatGPT）にやらせてみたらどうなる？」と思って4、5題やらせてみせた。全問正解したか？否。半分くらいは間違っていた。ある心臓の問題では門外漢の私ですらAIの出した解答は明らかに間違いだろうと思って、自分の考えたのを選んだらやっぱり私の方が正しかったりした。まだまだ生成AIは発展途上、しっかり自分の頭で考えることが大事なのは言うまでもない。

↓はAIが正解を間違った一例。

僧帽弁閉鎖不全症や三尖弁閉鎖不全症について正しいのはどれか。1つ選べ。 

a. 機能性僧帽弁閉鎖不全症の診断には運動負荷が有用である場合がある。

b. 三尖弁閉鎖不全症は予後には影響しない。 

c. MitraClipは三尖弁閉鎖不全症に対する低侵襲カテーテル治療である。

d. MitraClipが機能性僧帽弁閉鎖不全症の予後を改善したというデータはない。 

e. 2020年の日本循環器学会弁膜症治療ガイドラインにおいてMitraClipはいまだ推奨クラスがない。

これに対し、ChatGPTが出した答えが↓だ。

正しい選択肢は次のとおりです：
c. MitraClipは三尖弁閉鎖不全症に対する低侵襲カテーテル治療である。
うん？

ChatGPTの説明:

a. 運動負荷は機能性僧帽弁閉鎖不全症の診断には一般的には使用されません。機能性僧帽弁閉鎖不全症は心臓の弁が正常に機能しない状態で、運動負荷検査は通常、冠動脈疾患などの心臓の異常を評価するために行われます。
b. 三尖弁閉鎖不全症は、心臓の弁が正常に機能しない状態であり、適切な治療が行われない場合、予後に影響を及ぼすことがあります。重度の三尖弁閉鎖不全症は心不全や他の合併症を引き起こす可能性があります。
d. MitraClipが機能性僧帽弁閉鎖不全症の予後を改善したというデータは限られており、一般的にはまだ確立されていない場合があります。
e. 2020年の日本循環器学会弁膜症治療ガイドラインにおいて、MitraClipに関する推奨クラスがまだ設定されていない可能性があります。ガイドラインは定期的に見直され、最新の研究結果に基づいて更新されます。

講師はMitraClipという手技は三尖弁閉鎖不全症ではなく僧帽弁閉鎖不全症に対する治療法と何度も言っていた。「ｃ」は真っ先に間違いと分かる選択肢だ。私は少し迷うも「a」が正解だろうと思った。「場合がある」という終わり方は正解になりやすいということもある。物事には例外が付きものだ。逆に「全否定」するような文面の場合は不正解が多い。「ｂ」などがそれにあたる。果たして正解は「a」だった。だからもっともらしいAIの「a.の説明」は間違った解説ということになる。