AAI 小學堂

I04 · WEEK 4 · 會用 · 40 分鐘

Evidence、成果驗收與安全治理

Agent 說完成沒有證據力,漂亮成品也要查。
課程能力成果用完整性、正確性與可用性驗收 Artifact,並以三分鐘 Showcase 通過會用 Gate。
COURSE SPECIFICATION

課程規格與能力指標

本課程以可觀察行為與可檢查成果定義完成標準。

適用對象

已完成 Agent 任務設計,需要建立成果驗收、風險控制與可追溯證據的學員。

先備條件
  • 帶回 I01–I03 的完整任務資料
  • 準備一份 Agent 產出與來源
  • 確認任務的正式負責人與核准點
學習目標
  1. 以完整性、正確性與可用性三層標準驗收 Agent 產出
  2. 建立資料、權限、操作與核准的治理紀錄
  3. 以三分鐘 Showcase 說明成果、證據、限制與責任
能力證據
  • 三層驗收紀錄與抽查證據
  • Human Gate 與操作紀錄
  • 通過六維度 Rubric 的完整任務包
DELIVERY PLAN

40 分鐘授課流程

每一階段均配置明確的講師動作、學員活動與完成訊號。

0–5 MIN

錯誤挑戰

找出漂亮報告中的缺來源、錯數字與越權。

5–11 MIN

三層驗收

完整性、正確性、可用性。

11–17 MIN

治理框架

讀了什麼、做了什麼、留下什麼、誰核准。

17–23 MIN

Demo

抽查來源並阻止未核准發布。

23–32 MIN

個人補強

把驗收與 Gate 加回前三週任務。

32–40 MIN

Showcase

三分鐘展示並完成六維度評量。

WEB SLIDES · 14 PAGES

投影片與逐頁講師稿

直接在網頁翻頁;講師模式會同步展開本頁講稿、互動指令、轉場與備援。

SLIDE 01 / 14
I04 · WEEK 4 · 會用I04

Evidence、成果驗收與安全治理

Agent 說完成沒有證據力,漂亮成品也要查。

時間

40 分鐘

必要 Artifact

完整 Agent 任務包+三分鐘 Showcase

TERMINOLOGY

核心術語與正式定義

術語不作為記憶測驗,而是作為設計與審查時的共同語言。

Evidence

支持完成、正確、合規或限制判斷的可追溯資料。

本課應用來源、測試、Trace、版本、核准與差異紀錄均可構成 Evidence。

Completeness

任務要求的範圍、數量、欄位與例外是否完整呈現。

本課應用使用清單、筆數對帳與缺漏項目檢查。

Correctness

事實、數字、引用與計算是否可回到可信來源核對。

本課應用進行抽樣、交叉來源比對或自動測試。

Auditability

能重建 Agent 使用何種資料、工具、規則與核准完成產出的能力。

本課應用保留輸入版本、工具紀錄、Prompt、輸出與 Gate 決策。
CORE FRAMEWORK

核心知識與判斷框架

以下四項為完成本堂實作與後續工作應用所需的最低知識集合。

1

完整性

範圍、數量與必要欄位是否到齊。

2

正確性

數字、引用與事實能否回到來源。

3

可用性

格式、語氣、限制是否能正式使用。

4

治理內建

資料、權限、紀錄與 Gate 在每一步設計。

SEMICONDUCTOR CASE

合成 SPC 異常報告草稿

Agent 依合成量測資料起草異常摘要與圖表,但其中藏有來源缺漏與錯誤計算。

輸入資料
合成量測表、規格界線、資料期間與來源編號。
任務要求
產出異常摘要、基本統計、超限點與待查問題。
Agent 範圍
計算、標示、製表、起草及附來源。
人員判斷
判斷異常意義、資料品質、通知層級與後續處置。
Human Gate
報告寄送、製程處置或正式結論發布之前。
必要 Evidence
計算紀錄、來源表、抽樣結果、修改 Diff 與核准紀錄。
主要風險

合理但錯誤的數字可能直接影響製程決策。

CASE LAB · 3 SCENARIOS

同一項能力,換三種工作情境練習

主案例建立共同框架;以下案例可依學員職務選一個用於分組判讀、工作紙實作或 Gate 走查。

I04-C1三層驗收實作

量測離群值複核

Agent 標出一批合成離群值,但其中包含單位轉換錯誤與重複量測。

輸入
合成量測、單位、規格、重測旗標與來源列號。
Agent 做
檢查欄位、轉換單位、標記離群與保留計算過程。
人判斷
判斷資料有效性、是否重測及異常的工程意義。
Human Gate
異常通報、Lot 處置或正式報告之前。
必要 Evidence
筆數對帳、公式、抽樣核對、重測標記與修改 Diff。
主要風險
計算看似精確,但若單位或重複資料錯誤,結論完全失真。
討論題

分別列出完整性、正確性、可用性要看哪一項 Evidence。

I04-C2Evidence 走查

供應商 CoA 欄位比較

不同格式的合成 CoA 需要與採購規格欄位比較,部分欄位名稱相近但定義不同。

輸入
合成 CoA、核准規格、欄位字典與文件版本。
Agent 做
擷取欄位、標準化格式、標示超限與無法對應項目。
人判斷
判斷規格適用性、例外處理、驗收與供應商溝通。
Human Gate
材料驗收、退貨或正式通知之前。
必要 Evidence
欄位 Mapping、原文頁碼、規格版本、例外清單與核准。
主要風險
同名不同義或 OCR 誤讀可能產生錯誤超限判斷。
討論題

哪些項目可自動檢查?抽查樣本要如何選才有代表性?

I04-C3會用 Gate 模擬

Dashboard 數字對帳

合成週報與 Dashboard 對同一指標顯示不同數字,Agent 已產生一份看似合理的說明。

輸入
合成報表、Dashboard 匯出、指標定義、時間範圍與更新時間。
Agent 做
對齊期間、定義與篩選條件,列出差異來源候選。
人判斷
確認權威來源、解釋差異並決定正式數字。
Human Gate
對外呈報、KPI 定案或修正系統之前。
必要 Evidence
查詢條件、數字對帳、更新時間、來源 Owner 與核准結論。
主要風險
若只選擇較符合預期的數字,將形成確認偏誤與錯誤決策。
討論題

Agent 的解釋能否算 Evidence?還缺哪一個系統或 Owner 的證據?

REQUIRED DELIVERABLE

本堂必要交付成果

完成課程必須留下可由第三方檢查、重用或接手的工作證據。

ARTIFACT完整 Agent 任務包+三分鐘 Showcase

Artifact 必須包含必要欄位、來源、限制、責任邊界與適用的核准紀錄。

INSTRUCTOR DEMONSTRATION

示範流程與觀察重點

示範的目的不是展示工具熟練度,而是使關鍵選擇、Evidence 與控制點可見。

01

看起來完成

報告整齊但缺兩個來源。

02

抽查數字

抓到合理但不存在的統計。

03

看操作紀錄

發現準備越權寄送。

04

Human Gate

修正後由負責人核准。

GUIDED PRACTICE

課堂實作與交付要求

學員應使用合成、公開或已去識別資料,在課堂內完成最小可驗收版本。

  1. 1補三類驗收
  2. 2附來源與限制
  3. 3標資料與權限
  4. 4準備三分鐘 Showcase
本堂交付:完整 Agent 任務包+三分鐘 Showcase
COMMON FAILURE MODES

常見錯誤與導正方式

下列錯誤應在課堂觀察或成果審查時主動辨識。

可見現象可能原因建議導正
只檢查版面與語氣

把品質外觀誤當正確性

先對帳範圍與筆數,再抽查數字、引用與原始來源。

採信 Agent 自述已完成或已驗證

把模型輸出當 Evidence

要求實際 Artifact、Trace、測試與外部來源。

治理只在最後加一個核准按鈕

未管理讀取與中間操作

逐步記錄資料來源、權限、工具動作、輸出與 Gate。

ASSESSMENT CRITERIA

當堂評量規準

評量必須引用 Artifact、操作紀錄或可見行為,不採用學員或 Agent 的自我宣稱。

TRANSFER AND FOLLOW-UP

課後應用與延伸教材

課後任務用於確認學員能將課堂框架轉移至實際工作情境。

課後任務

成果驗收與補強

選擇一份既有 Agent 成品,完成三層驗收並只修正一個最高風險缺口。

應提交

  • 驗收前 Artifact
  • 三層驗收表與抽查證據
  • 修正後 Artifact 及 Diff

通過條件

第三方可依 Evidence 重建檢查步驟,並理解仍未解決的限制。

延伸教材

建議複習與備課資源

  • 半導體工作案例庫:CASE-05 SPC 異常報告草稿
  • 八堂 Gate 評量規準:I04 會用 Gate
  • 延伸備課:Artifact Evidence 與治理

延伸教材不增加八堂必修時數,由講師依學員背景與任務風險選用。