
모델은 검증된 수치와 그렇지 않은 수치를 구별하지 못한다
Calaa는 그룹의 지능 계층이다. 그 품질을 결정하는 것은 아래에 놓인 말뭉치이며, 모델은 누구도 차별화하지 못하는 부분이다. 그 말뭉치는 들어가기 전에 Mind가 검증한다.
왜 검증이 모델보다 먼저인가
인공지능으로 보고서를 만드는 데는 이제 십 분이면 된다. 그 수치 하나하나가 어디서 왔는지 답하는 일은 예전과 똑같은 비용이 들며, 그것이 Mind가 하는 일이다.
출처 없는 수치로 학습한 모델은 검증된 수치로 학습한 모델과 똑같이 유창한 답을 내놓는다. 읽어서는 차이가 드러나지 않는다. 차이는 여섯 달 뒤, 누군가 그 수치로 결정을 내릴 때 드러난다.
두 개의 답
둘은 똑같이 읽힌다. 검증할 수 있는 것은 하나뿐
같은 과제에 대한 두 개의 답. 하나는 검증된 말뭉치, 다른 하나는 검증되지 않은 말뭉치 위에서 나왔다. 달라지는 것은 문장이 아니라 각 수치가 아래에 지니고 있는 것이다. 이 그림이 비교하는 것은 구조이지 문장이 아니다.
이 수치는 어디서 왔는가?
차이는 읽을 때 드러나지 않는다. 누군가 어떤 수치의 출처를 물을 때 드러나며, 그때는 이미 결정이 내려진 뒤다.
데이터가 들어가기 전에 통과하는 세 가지 규칙
완성된 보고서가 아니라 데이터 하나하나에 적용된다.
- 01
신뢰할 수 있는 출처
공식 기관, 공공 조직, 학술 연구, 전문 간행물, 그리고 공인된 조사 기업. 확보 가능한 유일한 출처가 그 기준에 미치지 못하면, 그 데이터는 표시를 달고 들어가거나 아예 들어가지 않는다.
- 02
교차 대조
편향을 배제하기 위해 모든 데이터를 여러 출처와 대조한다. 신뢰할 수 있는 두 출처가 일치하지 않으면, 편한 쪽을 고르는 대신 둘 다 보존한다.
- 03
비판적 분석
출처와 날짜, 방법, 그리고 그 뒤에 있을 수 있는 이해관계를 평가한다. 올바른 데이터도 잘못된 맥락에 놓이면 똑같이 오도하며, 그것이 참인 숫자로 틀리는 가장 흔한 방식이다.
세 개의 관문
세 규칙 가운데 어느 것도 예나 아니오로 답하지 않는다
데이터가 세 규칙을 통과하는 경로를, 적용되는 순서대로 보여 준다. 각 관문에는 저마다의 출구가 있다. 보여 주는 것은 경로의 순서이지, 각 관문이 몇 건을 붙잡는지가 아니다.
끌어서 모형을 돌리거나, 관문을 눌러 통과하지 못한 것이 어디로 나가는지 확인하세요.
세 규칙 모두 데이터가 들어오는 동안 적용되며, 발표할 때가 아니다. 끝까지 도달한 데이터는 어디를 지나왔는지에 대한 라벨을 달고 있으며, 그 라벨은 말뭉치까지 함께 간다.

01.1모델보다 먼저
모델은 데이터가 어디서 왔는지 묻지 않는다. 그 전에 누군가 물었어야 한다.
검증하는 사람이 무엇을 들일지 결정하고, 그 결정은 데이터 옆에 적힌다.
무엇을 표시하는가, 그리고 모델은 왜 그 표시를 필요로 하는가
데이터와 함께 이동하며 집계 과정에서도 사라지지 않는 세 개의 라벨.
이것은 추정치다
측정값으로 제시된 추정치는 아무런 경고 없이 퍼져 나간다.
그 수치가 측정이 아니라 자체 계산일 때는 그 사실을 밝히고 어떻게 얻었는지 설명한다. 그 이후로는 바로잡을 수 없다. 그것을 받은 쪽이 이미 실측 데이터처럼 사용했기 때문이다.
이것은 답할 수 없다
모델은 언제나 답을 내놓는다. 데이터가 그 답을 닫아 주지 못할 때조차 그렇다.
확보된 데이터로 닫히지 않는 질문은 열린 것으로 표시하고, 닫으려면 무엇이 필요한지 함께 적는다. 모델은 언제나 할 말을 찾아내므로, 그 빈자리는 누군가 먼저 적어 두어야 한다.
이것은 여기서 왔다
표시는 수치와 함께 이동하며 부록에 남겨지지 않는다.
모든 수치는 그 출처와 날짜, 그리고 채택의 근거가 된 기준을 수치 옆에 함께 지닌다. 그래야 누군가 다른 문서로 옮길 때에도 남아 있으며, 바로 그 순간이 보통 그것이 사라지는 때다.
Calaa가 돌려주는 것
지능 계층은 Mind가 검증한 말뭉치 위에서 집계하고 연결하며 답한다. 어떤 답이 추정치로 표시된 데이터에 기대고 있다면, 그 표시는 그대로 남아 있다. 그룹이 자기 지능을 글을 쓰는 데만이 아니라 결정을 내리는 데 쓸 수 있는 길은 그것뿐이다.
표시가 지나는 길
답이 반대편으로 나올 때에도 표시는 그대로 있다
데이터가 검증된 순간부터 하나의 답을 떠받치기까지 거치는 네 번의 도약. 이 그림은 하나의 표시를 따라가며, 각 계층을 몇 건이 지나는지 세지 않는다.
표시
선언된 채로 이동하지 않으면 바로 여기서 사라진다
표시가 없으면 답은 똑같이 훌륭하게 읽히고 검증할 수 없다. 표시가 있으면 그룹은 자기 지능으로 글만 쓰는 것이 아니라 결정을 내린다.

