NO.11

他以為 AI 讀不懂,其實是模型選錯

AI OnBoarding 

Hi,

這一場的對象是一個上市公司的工程師,最近剛換了部門。


他剛接了新 team,要面對一整批從沒碰過的技術文件。文件不算機密,但高度專業,原文又多又厚。他想做的事很直接,把這些文件的內容快速整理出來。

六題跑完,他把最大的一份文件丟給 AI,請它讀。

AI 回他「檔案太大,無法正確分析」。

他第一個反應,跟大部分人一樣:AI 做不到。


我們做的第一件事,是把文件按章節切開,一章一章跑,而且先只跑第一章。跑完確認細度對不對,對了才放手跑剩下的。這條規則後來真的救了他一次,只是救的方式跟我預期的不太一樣。

第一章跑出來,摘要是有的,但偏粗淺,重點沒抓到。他當下的結論,跟面對整份大檔案時一樣:這個不太行。

我請他把模型從預設的 Sonnet 換成 Opus,同一章再跑一次。

同一份文件,同一個提示,摘要從粗淺變成抓得到重點。

那一刻我拍到兩張連拍照片,間隔不到一秒。前一張他身體前傾、嘴張開,盯著螢幕;後一張整個人笑開、往後靠。手一直沒離開觸控板,那是他操作當下的反應,不是聽完解說之後的客氣回應。


他原本會把那一份粗淺的摘要歸咎於 AI 本身不行,或者覺得是自己問得不夠清楚。換了模型之後才看出來,那是一個設定問題,跟他問得好不好沒有關係。

大部分人用 AI 的時候,用的都是預設模型,沒有人告訴他這一步其實有選項。而一份需要深度閱讀理解的技術文件,預設值給出的第一印象,常常比它實際能做到的差一截。於是很多人就下了一個太早的結論,覺得「AI 讀不懂這種東西」。

他會覺得 AI 做不到,是因為他不知道「換個模型」是一個選項。


但那天最後留下的判斷,還不是模型的事。

跑完第一章、確認細度沒問題之後,我們把剩下的章節交給 AI 一次跑完,轉成一種任何 AI 都讀得進去的格式,圖表也請它用文字描述一次。不只是摘要,是一份他自己的知識庫。

我當時以為目標是讀得動這份文件。後來才搞懂,他真正要做到的,是他要上台,把這些東西講給新同事聽。

這兩個目標聽起來很像,產出完全不一樣。摘要讀一次就沒了,下次要問別的問題還是得重讀原文。知識庫可以被反覆提問,可以拿去比對不同檔案之間的關聯,可以在他準備簡報的時候,幫他把散落在幾十份文件裡的重點兜起來。要上台講給別人聽,光有摘要撐不住。

這也回頭解釋了模型那個問題為什麼要認真解決。如果只是要一份看得懂的摘要,粗淺一點也許還能忍;但這一份東西之後要被反覆引用,要經得起台下的人提問,細度不夠,整個底本就靠不住。

Kidult

QUIZ

你是哪一種 AI 使用者?

六題、兩分鐘,拿到你的稱號,和你最常卡住的三個地方。

開始測驗 →
SUBSCRIBE

訂閱 AI OnBoarding 電子報

坐在別人旁邊用 AI 發生的事,每週三寄出一封。