今日のプロンプト1
「修繕」という言葉を使って、穴埋め問題を作ってください。三つの選択肢の中から答えを選ぶ問題にしてください。
AIの回答1
(2025年3月29日にClaude 3.7 Sonetにより生成)
問題:台風で壊れた公民館の( )工事が来週から始まる予定だ。
選択肢: 1.修繕 2.精算 3.修習
正解:1
今日のプロンプト2
AIの回答2
(2025年3月29日にClaude 3.7 Sonetにより生成)
問題:次の文中の( )に入る最も適切な言葉を、選択肢の中から選びなさい。 1.壊れた時計は専門店で( )してもらうことにした。 a . 修繕 b. 修理 c. 修復 d. 修正 2.古い歴史的建造物の( )作業には高度な技術が必要とされる。 a. 修繕 b. 修理 c. 修復 d. 修正 3.論文の内容に誤りがあったため、指摘された箇所を( )した。 a. 修繕 b. 修理 c. 修復 d. 修正 4.老朽化した水道管の( )工事が来週から始まる予定だ。 a. 修繕 b. 修理 c. 修復 d. 修正 正解: 1. b(修理) 2. c(修復) 3. d(修正) 4. a(修繕)
AIができること
日本語能力試験には、文字・語彙の問題に「文脈規定」という選択式の穴埋め問題があります。今回はAIにそのような選択式の穴埋め問題を作らせてみました。
まず、「今日のプロンプト1」では、三択問題を作らせ、正答以外の選択肢をAIに考えさせました。正答は「修繕」ですが、不正解になる選択肢(錯乱肢)には、同じ「修」の字を使った「修習」という言葉が入れてくれています。
一方、「今日のブロンプ2」では、選択肢をこちらから指定して、「文脈規定」の問題と同じように、選択肢が4つある問題を作らせました。「修繕」「修理」「修復」「修正」という指定した4つの言葉がそれぞれの問題の正答になるように、問題が作られています。
選択式の穴埋め問題がこんなふうにプロンプトで簡単に作れるといいのですが、今回作成された問題を見てみると、残念ながら修正しなければならないところが多々あります。
人間にできること
実際にAIに生成させたものをチェックしてみましょう。
まず、「今日のプロンプト1」で作った問題を見てみると、「公民館」という言葉は、国によってはこのような施設がない国もあるので、学生には理解しにくいと思います。「公民館」を「建物」「ビル」といった一般的な言葉に修正するとよいでしょう。逆に、「公民館」という言葉を変えさえすれば、この問題は他に特に問題はないと思います。
一方、「今日のプロンプト2」で作った問題は、正答が一つではなく、二つになってしまっている問題が多いと思います。例えば、1の問題は「修理」が答えですが「修繕」も入らないことはないと思います。また、2の問題は、「修復」が正答ですが、「修繕」も答えとして可能だと思います。4の問題の答えは「修繕」ですが、「修復」も答えとして入りそうです。
このような場合は、答えが一つになるように、問題を修正するか、「括弧に入るものをすべて選びなさい」という指示文を付け加えて、答えとなる選択肢が二つ以上になる問題もあるという形にするか、どちらかにしなければならないでしょう。
ですが、問題を修正するほうはかなり難しいです。類義語を選択肢にしているので、人間が問題を作るとしても、細かいニュアンスの違いを踏まえて、問題を作らなければなりません。問題を修正するよりも、この下の「ここに注意!」に書いてある対策を行ったほうが手間がかからないかもしれません。
ここに注意!
今回、見てきたように「修繕」「修理」「修復」「修正」のような類義語を選択肢にしてしまうと、AIは、まだうまく選択問題が作れません。類義語の区別はAIにとっては難しいことらしく、類義語を選択肢にすると、だいたい答えが一つではなく、二つ以上正答がある選択問題ができてしまいます。
不正解になる選択肢(錯乱肢)に類義語が使えると、正答となる単語と類義語の違いを理解するための良い問題になるのですが、まだそこまではAIにできないようです。
選択肢を指定する時は、例えば、「修繕」「修行」「修了」「修飾」など、類義語ではない選択肢で問題を作らせると、うまくいくことが多いように思います。
0 件のコメント:
コメントを投稿
仕事が忙しく、ご返信が遅れることがありますが、ご回答お待ちしています。