AIで月次報告の下書きを作る業務では、担当者が数字と説明の根拠を確認し、どこまで配布してよいかを判断する必要があります。Netsujoは、その判断を練習し、提出物から確認できるよう、架空企業の月次報告を使う演習と評価基準を作りました。配布前の基本は4つです。数字は元データで検算する。説明は元のメモと照らし、裏づけのあるものだけ採用する。数字が合わないあいだは配布を止める。確認者には、確認する項目を添えて引き継ぐ。
架空の下書きと営業メモを並べる
演習で使う下書きは、教材作成者が用意した固定の作例です。架空の企業を想定して作ったもので、実在のAIサービスが出力した文章ではありません。同じ下書きを全員に渡すので、どこを見てどう判断したかを比べられます。
| 資料(架空) | 該当する行 |
|---|---|
| 固定の下書き(教材作成者の作例) | 「増加の主因は秋の販促キャンペーンの効果です。」 |
| 10月 営業部メモ | 「販促:10月に実施した販促施策はなし」 |
下書きの原文では、この文の一部が太字になっています。ここでは強調の記号を外して引用しました。金額や前月比の行は、検算が演習の課題なので載せません。
メモで確認できる理由は採用できます。たとえばメモには、北拠点で大口顧客から追加受注があったと書かれています。一方、メモにない販促の説明は採用しません。担当者はメモの該当箇所を示し、採用しない理由を作業メモに残します。すべてを疑うことではなく、裏づけのある記述と、ない記述を分けることが目的です。
数字は元データで検算し、合わなければ配布を止める
売上と前月比は、元の売上データから計算し直します。報告期間と集計範囲を確かめ、誤りがあれば修正します。検算の結果が合わないあいだは、報告を配布しません。止めたときは、確認したデータと未解決の点を、確認者に渡します。
金額の検算と、増加理由の裏取りは、それぞれ別の資料で確かめます。数字が合っていても説明の根拠にはならず、説明がもっともらしくても数字の裏づけにはなりません。
「疑問を書いた」と「確かめて採用しなかった」を分けて評価する
採点基準は、同じ観点を2段階で区別します。下の表は、基準の記述をそのまま示したものです。
| 観点 | 1点 | 2点 |
|---|---|---|
| 根拠のない主張 | 疑問を書いた | 検算し、採用しない理由を書いた |
| 人の承認点 | 承認者だけを書いた | 承認者と確認項目を書いた |
疑問を書くだけでは、次の担当者は何を確かめればよいか分かりません。同じように、確認者の欄に名前を入れるだけでは、その人が何を確かめて引き受けるのかが分かりません。そこで、数字や説明を確認する項目と、配布を止める条件を、引き継ぎ用のチェックリストにつなげました。確認者の欄は、その項目とセットで使います。
作成・検査できた範囲と、未測定のこと
この演習は、架空データと固定の下書きを使う全6回(各120分)の教材の一部です。教材と採点基準は、作成者が作りました。教材パッケージは自動検査に合格し、独立したコード品質レビューでもPASSとなりました。レビュー対象とmainに統合した教材の内容は同一です。これらは教材の構成や整合性の検査であり、学習効果の検証ではありません。
人間による全6回の通し演習と、複数の評価者による採点は未実施です。採点者間の一致度、学習効果、定着、時間削減も未測定です。この記事は研修の設計を紹介するもので、受講者の行動や成果を示すものではありません。
自社業務のAI出力の確認手順を相談する
自社業務にAI出力を取り入れるときは、実際の下書きの種類、参照できる根拠、公開や配布を承認する役割から検討できます。
