メインコンテンツへスキップ
技術ブログへ戻る
AI開発

AIの月次報告を配布する前に、担当者は何を確認できるか

架空の月次報告で、AI下書きの検算、根拠の確認、保留、確認担当への引き継ぎを評価する演習を紹介します。

下書きの4つの記述を、数字の2行は売上データで、説明の1行は営業メモで突き合わせ、メモに裏づけのない1行は採用せず下書きに残し、採用した3行は配布の手前の保留点で止まり、確認項目の並ぶチェックリストとともに確認者へ引き継がれる図。

AIで月次報告の下書きを作る業務では、担当者が数字と説明の根拠を確認し、どこまで配布してよいかを判断する必要があります。Netsujoは、その判断を練習し、提出物から確認できるよう、架空企業の月次報告を使う演習と評価基準を作りました。配布前の基本は4つです。数字は元データで検算する。説明は元のメモと照らし、裏づけのあるものだけ採用する。数字が合わないあいだは配布を止める。確認者には、確認する項目を添えて引き継ぐ。

架空の下書きと営業メモを並べる

演習で使う下書きは、教材作成者が用意した固定の作例です。架空の企業を想定して作ったもので、実在のAIサービスが出力した文章ではありません。同じ下書きを全員に渡すので、どこを見てどう判断したかを比べられます。

架空の下書きと営業メモを並べる
資料(架空)該当する行
固定の下書き(教材作成者の作例)「増加の主因は秋の販促キャンペーンの効果です。」
10月 営業部メモ「販促:10月に実施した販促施策はなし」

下書きの原文では、この文の一部が太字になっています。ここでは強調の記号を外して引用しました。金額や前月比の行は、検算が演習の課題なので載せません。

メモで確認できる理由は採用できます。たとえばメモには、北拠点で大口顧客から追加受注があったと書かれています。一方、メモにない販促の説明は採用しません。担当者はメモの該当箇所を示し、採用しない理由を作業メモに残します。すべてを疑うことではなく、裏づけのある記述と、ない記述を分けることが目的です。

数字は元データで検算し、合わなければ配布を止める

売上と前月比は、元の売上データから計算し直します。報告期間と集計範囲を確かめ、誤りがあれば修正します。検算の結果が合わないあいだは、報告を配布しません。止めたときは、確認したデータと未解決の点を、確認者に渡します。

金額の検算と、増加理由の裏取りは、それぞれ別の資料で確かめます。数字が合っていても説明の根拠にはならず、説明がもっともらしくても数字の裏づけにはなりません。

「疑問を書いた」と「確かめて採用しなかった」を分けて評価する

採点基準は、同じ観点を2段階で区別します。下の表は、基準の記述をそのまま示したものです。

「疑問を書いた」と「確かめて採用しなかった」を分けて評価する
観点1点2点
根拠のない主張疑問を書いた検算し、採用しない理由を書いた
人の承認点承認者だけを書いた承認者と確認項目を書いた

疑問を書くだけでは、次の担当者は何を確かめればよいか分かりません。同じように、確認者の欄に名前を入れるだけでは、その人が何を確かめて引き受けるのかが分かりません。そこで、数字や説明を確認する項目と、配布を止める条件を、引き継ぎ用のチェックリストにつなげました。確認者の欄は、その項目とセットで使います。

作成・検査できた範囲と、未測定のこと

この演習は、架空データと固定の下書きを使う全6回(各120分)の教材の一部です。教材と採点基準は、作成者が作りました。教材パッケージは自動検査に合格し、独立したコード品質レビューでもPASSとなりました。レビュー対象とmainに統合した教材の内容は同一です。これらは教材の構成や整合性の検査であり、学習効果の検証ではありません。

人間による全6回の通し演習と、複数の評価者による採点は未実施です。採点者間の一致度、学習効果、定着、時間削減も未測定です。この記事は研修の設計を紹介するもので、受講者の行動や成果を示すものではありません。

自社業務のAI出力の確認手順を相談する

自社業務にAI出力を取り入れるときは、実際の下書きの種類、参照できる根拠、公開や配布を承認する役割から検討できます。

自社業務のAI出力の確認手順を相談する

関連する記事と支援