National Yang Ming Chiao Tung University
Uedu Main Site
Explore Uedu
Student Console
Register as Member/Login
Research Informed Consent Center
Survey Center
Educational Big Data Challenge
Claim or create a course
Try a Scenario Task
Support & Messages
Uptime Data

UeduGPTs

--

Jupyters

1

Local AI

--

Uedu Code

--

陽明交大 AQI 69 24°C PM2.5 26
AI Reply Desktop Notifications

Show a desktop notification when the AI TA finishes replying

Chat Message Notifications

Notify me when classmates post messages in the forum

Sound notification

Play an alert sound whenever there is a new notification

Unit M1

AI 怎麼產生回答,又為什麼會錯

一個字一個字的預測、溫度與抽樣、語氣不等於把握、連網能修正哪些錯
Interaction 25 minute(s)

Learning Objectives

  • 說明語言模型如何一個字一個字地產生回答,以及為什麼同一個問題每次答案可能不同。
  • 分辨「回答的語氣」與「模型的把握」,指出 AI 容易出錯的幾類情境。
  • 判斷連網搜尋能減少哪些錯誤、哪些錯誤仍然存在。

語言模型在做什麼

生成式 AI 的核心是語言模型。它從大量文字中學到「在這段話後面,接什麼字比較常見」,回答問題時就一步一步預測下一個字:先看你的問題和它已經寫出的部分,算出每個候選字的機率,選一個接上去,再預測下一個。

這和「到資料庫查答案」不同。模型沒有一張寫著正確答案的表格,它產生的是讀起來最像正確答案的文字。常見的知識,訓練資料裡出現過很多次,最可能的字通常也就是正確的字;冷門的細節、精確的數字、書目資料,就未必如此。

下面的練習用一個簡化的生成器示範這個過程。

練習一:看 AI 一個字一個字寫出回答

選一個情境,按「下一步」看模型每一步的候選字與機率,或按「自動播放」。寫完後按「重新生成」,比較每次的回答。可以調整溫度(數值越高,機率越平均,越容易選到不常見的字),或切換成「永遠選機率最高」。三個情境各完成一次生成後計入進度。

圖中的機率是教學示意,不是任何真實模型的輸出。

想一想:模型怎麼產生回答

1.

語言模型產生回答的方式,最接近下列哪一種?

2.

同一個問題問兩次,AI 給了不同的答案。最可能的原因是?

3.

AI 用很肯定的語氣說出一個精確的數字,這代表什麼?

第 1 次作答

AI 容易出錯的情境

從生成的方式,可以推出 AI 在哪些情境容易出錯:

情境 為什麼容易錯 例子
冷門的細節 訓練資料裡很少出現,候選字的機率很分散 某年某地的統計數字、地方人物
訓練截止之後的事 模型只學過某個時間點以前的資料 昨天的新聞、最新的法規
精確計算 數字也是一個字一個字預測出來的,不是真的在算 多位數乘法、統計
引用與書目 作者、年份、期刊分別生成,組合可能不存在 參考文獻、DOI

現在許多 AI 服務可以連網搜尋或使用工具(例如計算機、程式執行)。搜尋能補上最新資訊,但不能修正所有錯誤:搜到的網頁本身可能不可靠,模型也可能讀錯或轉述錯誤。下一個練習請你判斷,哪些錯誤在連網後會減少。

想一想:連網與工具

1.

讓 AI 連網搜尋之後,哪一種錯誤最可能減少?

2.

為什麼 AI 連網之後,它給的引用仍然要查證?

3.

要知道「3,847 × 29」的答案,最合適的做法是?

第 1 次作答

帶走的觀念

  • 語言模型產生的是讀起來最像答案的文字,不是從資料庫查出的答案。
  • 回答的語氣不等於模型的把握;同一題答案不一致,是沒有把握的訊號。
  • 冷門細節、訓練截止之後的事、精確計算、引用與書目,是最需要查證的四種情境。
  • 連網補上新資訊,計算工具補上計算,但兩者都不能取代你自己的查證。

下一課練習怎麼查證:分辨事實、推論與意見,並逐筆查證 AI 給的引用。

這一課完成了!
Next lesson:逐條查證:AI 的說法與引用
你目前沒有登入,學習進度只存在這個瀏覽器。 Login 後,進度會跟著帳號,換電腦也看得到。