本文へスキップ
ガラス越しに見える、オフィスでヘッドセットを試す二人
  1. Conglomerado
  2. Calaa Mind
  3. コンサルティング
  4. Calaa とともに

01.1

モデルが学ぶものを、誰が検証するのか。

モデルは、検証済みの数値とそうでない数値を見分けない

Calaa はグループの知能レイヤーである。その質を決めるのは下にあるコーパスであり、モデルは誰の違いも生まない部分だ。そのコーパスは、入る前に Mind が検証する。

01.1.1

なぜ検証がモデルより先に来るのか

人工知能で報告書を作るのに、いまや十分しかかからない。その数値の一つひとつがどこから来たのかに答える手間は以前と変わらず、それこそが Mind の仕事である。

出所のない数値で訓練したモデルは、検証済みの数値で訓練したモデルと同じだけ流暢な答えを返す。読んでいる限り違いは分からない。違いが現れるのは半年後、誰かがその数値で判断を下すときだ。

二つの答え

どちらも同じように読める。検証できるのは一方だけ

同じ依頼に対する二つの答え。一方は検証済みコーパス、もう一方は未検証コーパスによるもの。違いは文章にではなく、各数値が下に抱えているものにある。この図が比べるのは構造であって、文章ではない。

検証済みコーパス上
未検証コーパス上
出典
日付
基準

この数字はどこから来たのか。

違いは読んでいるときには現れない。誰かが数値の出どころを尋ねたときに現れ、そのときにはもう判断は下されている。

01.1.2

データが入る前に通過する三つの規則

それは完成した報告書にではなく、一つひとつの数値に適用される。

  1. 01

    信頼できる出典

    公的機関、行政組織、学術研究、専門刊行物、そして定評ある調査会社。入手できる唯一の出典がこの基準に届かないとき、その数値は印をつけて入るか、入らないかのいずれかである。

  2. 02

    クロスチェック

    偏りを排除するため、各数値を複数の出典と突き合わせる。信頼できる二つの出典が一致しないときは、都合のよい方を選ばず両方を残す。

  3. 03

    批判的検討

    出典、日付、手法、そして背後にありうる利害を評価する。正しい数値も誤った文脈に置けば同じように人を誤らせる。それが、正しい数字で判断を誤るもっとも多い形である。

三つの関門

三つの規則はどれも、はい・いいえでは答えない

三つの規則を数値がたどる経路を、適用される順に示す。各関門には固有の出口がある。示すのは経路の順序であり、各関門が何件を留めるかではない。

01信頼できる出典
02クロスチェック
03批判的検討
ラベルとともにコーパスへ入る
ある数値

ドラッグして模型を回すか、関門を押して、通らなかったものがどこから出るかを見る。

三つとも、公開時ではなく数値が入る過程で適用される。最後まで届いた数値は、どこを通ったかのラベルを帯び、そのラベルはコーパスまで一緒に運ばれる。

ノートパソコンを開いたテーブルを囲む打ち合わせ

01.1モデルの前に

モデルは数値の出どころを問わない。その前に誰かが問うておかねばならない。

検証する者が何を入れるかを決め、その判断は数値の横に書き残される。

01.1.3

何に印をつけるのか、そしてなぜモデルにはその印が要るのか

数値とともに移動し、集約されても失われない三つのラベル。

  1. これは推計である

    実測として示された推計は、警告なしに広がっていく。

    その数字が実測ではなく自社の計算であるときは、そう明示し、どのように得たかを説明する。その後では訂正できない。受け取った側が、実測された数値として使ってしまうからだ。

  2. これには答えられない

    モデルは常に答えを返す。データがそれを決めきらないときでも。

    手元のデータで決着しない問いは、決着に何が必要かとともに未決として印をつける。モデルは必ず何かしら答えを見つけるので、その空白は誰かが先に書き残しておかねばならない。

  3. これはここから来ている

    印は数字とともに移動し、付録に置き去りにされない。

    どの数字も、その出典、日付、採用の根拠となった基準を数字のすぐ横に保つ。そうすれば誰かが別の文書へ持ち出すときにも残る。ふつう失われるのは、まさにその瞬間である。

01.1.4

Calaa が返すもの

知能レイヤーは、Mind が検証したコーパスの上で集約し、関連づけ、応答する。推計と印のついた数値に答えが依拠している場合、その印は残ったままだ。グループが自らの知能を、文章を書くためだけでなく判断するために使えるのは、この方法しかない。

印のたどる道

答えが反対側から出てくるとき、印はまだそこにある

数値が検証されてから一つの答えを支えるまでに踏む四つの跳躍。この図は一つの印を追うものであり、各層を何件が通るかを数えるものではない。

印

検証済みの数値
コーパス
モデル
答え

宣言されて運ばれなければ、失われるのはここである

印がなければ、答えは同じように立派に読めて、検証はできない。印があれば、グループは自らの知能で文章を書くだけでなく、判断を下せる。