Editing LLMs Usage FAQ in Mandarin

LLMs 使用常見問題與解答

{{Template:Generative AI Tool in Mandarin}}

{{LanguageSwitcher | content = [[LLMs Usage FAQ | EN]], [[LLMs Usage FAQ in Mandarin | 漢字]] }}

== 如何解決「強制保持繁體中文輸出」 ==
📝 問題： AI 回答的內容包含簡體中文字

💬　解決方式：
* 在問題前加上 #zh-TW。<ref>[https://learntech.tw/chatgpt-traditional-chinese/ ChatGPT：如何強制保持繁體中文輸出 ｜學科技、省時間 - 學科技]</ref>
* 或指定「使用臺灣常用的繁體中文」。

範例：{{exclaim}} 部份模型無法區分繁體中文與簡體中文的差別，因此[https://www.facebook.com/will.fans/?locale=zh_TW 保哥]建議提供繁體中文與英文對照的詞彙表。
<pre>
請使用台灣常用的繁體中文：

規則：
- 使用全形標點符號，中英文之間加入空格。
- 以下是常見的 AI 相關術語詞彙對應表（English -> 中文）：
  * Transformer -> Transformer
  * Token -> Token
  * LLM/Large Language Model -> 大語言模型
  * Zero-shot -> 零樣本
  * Few-shot -> 少樣本
  * AI Agent -> AI 代理
  * AGI -> 通用人工智慧

</pre>

== 我想產生更長的文章內容 ==

📝 問題：
我想要使用 LLMs 產生 5000~6000 字的文章，但是每次只能產生 1000~1500 字的文章。

💬 原因：
LLMs 模型有上下文 (context window) 的長度限制，每次請求的輸入與輸出加起來的 token 數量有固定限制。因此每次產生的結果都會遇到 1000~1500 字的上限。建議的解決方式（workaround）是將預定輸出的文章進行結構拆解，分章節逐步輸出內容。

解決方案：
如果無法一次產生 5000~6000 字的文章，可以在輸入指示中事先規劃五個章節架構，再依照章節順序逐次產生內容，最終達到 5000~6000 字文章的產出目標。

{{Tip | tip= 以 [https://platform.openai.com/docs/models/o3 OpenAI o3] 模型為例：(1) Context Window (200,000)：輸入 + 輸出的總額度、(2) Max Output Tokens (100,000)：單次回答上限。實際輸入空間：200,000 - 預計輸出長度}}

== 如何讓 AI 處理長篇文章 ==

📝 問題：上下文長度限制
LLMs 模型受到上下文窗口（context window）長度的限制，以翻譯長文章為例，由於無法一次處理全部內容，我們需要將文章分段進行處理。

💬 處理方式：

方法1：改成支援更長上下文窗口（context window）長度的模型，例如：Google Gemini 等：

# GPT-4o: "16,384 max output tokens"<ref>[https://platform.openai.com/docs/models/gpt-4o Model - OpenAI API]</ref> 相當於 16,384/3 約 5,461 中文字
# gemini-2.5-pro: "65,536 max output tokens"<ref>[https://ai.google.dev/gemini-api/docs/models#gemini-2.5-pro Gemini 2.5 Pro]</ref> 相當於 65,536/3 約 21,845 中文字
# GPT-5: "128,000 max output tokens"<ref>[https://platform.openai.com/docs/models/gpt-5 Model - OpenAI API]</ref> 相當於 128,000/3 約 42,666 中文字

方法2：開啟新的對話，將對話內容轉移至新的對話中。針對舊有對話，可以嘗試使用這個提示：

<pre>
作為新對話的第一個 prompt，請將我們先前的對話整理成：
1. 清楚的操作步驟
2. 用來驗證每個前置步驟成功的指令
</pre>

方法3：分塊處理與保持上下文連貫的策略

處理長文時需要採用分段切塊（Chunking）的技術策略<ref>[https://ihower.tw/blog/archives/12373 使用繁體中文評測 RAG 的 Chunking 切塊策略 – ihower { blogging }]</ref>。為了讓模型在處理後續段落時能夠理解前面章節的脈絡，一個有效的方法是'''將前面文章摘要的切塊策略'''：
# 先將前面章節進行摘要
# 將摘要與待處理的下一章節全文一起輸入給 AI
# 這樣既能保持上下文連貫性，又能節省 token 使用量

'''重疊式切塊策略'''

另一種切塊策略適用於處理逐字稿的編輯。逐字稿的格式通常包含時間戳記和對應的字幕內容：

<pre>
1
00:00:00,001 --> 00:00:02,000
所以你先回答我

2
00:00:02,000 --> 00:00:06,000
有哪一個國家讓憲法把你空窗那麼久的

3
00:00:06,000 --> 00:00:10,000
你再來跟我說有哪一個國家沒有這樣制定
</pre>

如果直接將第 3 段獨立送到 AI 編輯，很容易因為缺乏前面的對話脈絡而產生錯誤。此時可以採用「允許部分重疊（overlap）」的內容切塊策略。以下是一個改善中文逐字稿的 prompt 範例<ref>[https://errerrors.blogspot.com/2024/11/add-punctuation-to-whisper-output.html 如何改善 Whisper 逐字稿可讀性：AI 標點符號教學]</ref>：

<pre>
你的任務是改善中文口語訪談的逐字稿段落。您需要增加標點符號、確保段落連貫、保持原意，並視需要重寫部分文字。請使用台灣常用的繁體中文。

這是前文段落：
<previous_paragraph>
{PREVIOUS_PARAGRAPH}
</previous_paragraph>

這是目前的段落：
<current_paragraph>
{CURRENT_PARAGRAPH}
</current_paragraph>

這是後文段落：
<next_paragraph>
{NEXT_PARAGRAPH}
</next_paragraph>
</pre>

這種方法讓 AI 能夠同時參考前後文內容，確保處理結果的連貫性和準確性。

== 如何解決 AI 會忘記訓練內容 ==
📝 詢問內容：

<pre>
我想進一步請教一個問題：如果我們採用「層層優化提示詞」這種漸進式的方法來改善AI表現，會不會遇到以下情況：在經過多次提示詞優化後，AI確實學會了相關技能並表現良好，但是過了一段時間後，它又忘記了這些已經訓練好的能力？

我想了解現在各大主流AI模型平台是否都具備穩定的記憶保留功能，也就是說，它們能夠持續記住之前我們給予的訓練提示和指導內容嗎？

我有時候會感覺AI的記憶力似乎不太穩定。在同一個專案進行過程中，明明之前已經向AI詳細說明過的內容和要求，過了一陣子卻需要重新從頭解釋一遍，這讓我對AI的學習持續性產生疑問。
</pre>

💬 回覆內容：

早期的AI模型由於context window（上下文視窗）長度限制較短，很容易出現偏離原本設定方向的情況。當我遇到這種狀況時，我通常會選擇開啟一個全新的對話，重新開始整個互動過程。

現在的AI模型在這方面應該有顯著的改善。如果這次的對話效果令人滿意，我建議你可以給AI下達一個指令，要求它總結並收斂整個對話過程，將對話中累積的互動原則和經驗歸納整合到最初的提示詞中：

<pre>
假設我要開啟一個新的對話來討論相同的主題，請你建議我應該使用怎樣的完整提示詞。
這個提示詞需要包含我們整個討論過程中的重要內容：
(1) 原本提示詞想要解決的核心問題和目標
(2) 與原本問題相關聯，但是一開始的解決方法沒有充分考慮到的重要面向和細節
</pre>

== 如何解決：AI 好笨啊，問它 AABB 都不知道 ==

📝 詢問內容：AI 好笨啊，問它關於 AABB 主題的事情都不知道，怎麼這麼難用？

💬 回覆內容：AI 基底模型 (base model) 有知識截止時間 (knowledge cut-off date<ref>[https://www.allmo.ai/articles/list-of-large-language-model-cut-off-dates A comprehensive list of Large Language Model knowledge cut off dates - ALLMO: Boost Your Brand’s Visibility in AI Search]</ref>)。知識截止日期代表 AI 模型無法取得超過該時間點的事件或資訊。這個日期是由模型訓練資料最後更新的時間點決定的。當超出這個模型的時間限制，很容易會遇到幻覺或不懂的狀況。

建議方式：
# '''網路搜尋'''：建議選擇支援「網路搜尋」功能的 AI 工具，先啟用「網路搜尋」功能後，再重新提出問題。
# '''上傳知識檔案'''：或是準備關於介紹 AABB 主題的文件或知識檔案 (knowledge files) <ref>[https://support.anthropic.com/en/articles/8241126-what-kinds-of-documents-can-i-upload-to-claude-ai What kinds of documents can I upload to Claude.ai? | Anthropic Help Center]</ref><ref>[https://ai.google.dev/gemini-api/docs/document-processing?lang=rest Document understanding  |  Gemini API  |  Google AI for Developers]</ref>，上傳到 AI 對話中，讓它具備先備知識，然後才討論這個主題。

如果是太新或冷門的資訊，無法透過網路搜尋即時取得時，則建議採用第二種上傳知識檔案的方式。有時候 AI 會宣稱已經理解 AABB 不懂裝懂的狀況，則可以提出基本概念問題進行驗證。


== 如何解決：AI模型產生錯誤網站連結？ ==

📝 詢問內容：目前運用Grok、ChatGPT、Perplexity等AI工具，搜集全球特定行業前10大企業的財務數據與資本狀況，並整理成表格形式。同時，還需要附上數據的原始網站連結作為參考依據。然而，這三種AI工具產生的網站連結全部都有錯誤。請問大家是否有解決方案，能夠避免這類語言模型持續產出不正確的參考連結？

💬 回覆內容：如果要使用原本的模型，而不是更聰明的推理模型，可以要求AI在給結論前，增加一個前置步驟：「請將問題答案的相關網頁段落文字，擷取摘要並編號，再根據這些段落回答問題。」就可以讓比較笨的模型減少幻覺的機率。<ref>[https://docs.anthropic.com/en/docs/test-and-evaluate/strengthen-guardrails/reduce-hallucinations Reduce hallucinations - Anthropic]</ref><ref>[https://the-learning-agency.com/the-cutting-ed/article/hallucination-techniques/ Improving AI-Generated Responses: Techniques for Reducing Hallucinations - The Learning Agency]</ref><ref>[https://www.godofprompt.ai/blog/9-prompt-engineering-methods-to-reduce-hallucinations-proven-tips 9 Prompt Engineering Methods to Reduce Hallucinations (Proven Tips) - Workflows] "Step-Back Prompting is a technique where you ask the AI to review its previous response and make sure it is accurate. " </ref>

== 如何解決：使用 AI 工具將故事轉換為視覺內容 ==
📝 問題：
我有一段用文字撰寫的故事，希望將它轉換成多張連貫的圖片（非漫畫風格的插圖）。有哪些 AI 工具可以協助我達成這個目標？
同樣地，哪些 AI 平台最適合用來將相同的敘事內容轉換成一系列短影片？

💬 處理方法：
我使用的方法比較間接，因為圖片生成非常耗時，但生成單純圖片的文字描述相對快速許多。
所以我會使用 Claude 或 ChatGPT 來生成具有連續情節的圖片文字描述。
修改完成後，再使用具有角色一致性的 AI 模型來生成圖片。

== AI能否自我驗證其推理錯誤？ ==

📝 詢問內容：一個值得深思的哲學問題持續困擾著我：人工智慧系統是否具備自我檢測並揭露自身局限性的能力？換句話說，我們能否運用AI工具來識別並證明AI推理過程中的缺陷與不準確性？

💬 回覆內容：目前有幾種可行的解決策略：

'''方法一：多模型交叉驗證機制''' 
運用不同的AI模型進行交叉比對，透過多重角度來驗證資訊的準確性，藉由模型間的差異性來識別潛在錯誤。

'''方法二：結構化推理步驟提示''' 

當使用同一模型而非更先進的推理模型時，可以要求AI在得出結論前，先執行關鍵步驟：「請在做出結論前，將所有支持結論的證據完整列出，並按相關性從高到低排序。接著基於這些證據段落來回答問題。」。不適合使用在「推理模型」(reasoning models)<ref>[https://sophiehundertmark.medium.com/new-prompting-rules-when-using-reasoning-models-deep-research-3810ea97bef3 New prompting rules when using reasoning models (Deep Research) | by Sophie Hundertmark | Medium] "Avoid chain-of-thought (CoT) prompting"</ref> {{exclaim}} 。

'''方法三：網路資料查核結合結構化推理''' 
要求模型主動搜尋網路資料進行事實查核，並同時結合方法二的結構化推理步驟，形成雙重驗證機制。

== 使用者的聊天紀錄是否可能被用來改進 AI 模型？ ==
請看 [[Data privacy in Large Language Models in Mandarin | 大型語言模型的資料隱私政策]]

== 解決 ChatGPT 產生的檔案找不到的問題 ==

📝 詢問內容：奇怪，ChatGPT產生的檔案都下載失敗，顯示檔案不存在。這是什麼問題？

💬 回覆內容：

1. 模型切換使用程式分析工具 (Code Interpreter) 時，對話過程會跳出 Python 程式碼。它的虛擬執行環境是有執行時間限制<ref>[https://guides.ai/chatgpt-code-interpreter-session-expired/ Answered: ChatGPT "Code interpreter session expired" (2025)]</ref>。雖然 OpenAI Help Cente「提到產生的下載檔案連結很快過期」<ref>[https://help.openai.com/en/articles/7996703-troubleshooting-chatgpt-error-messages Troubleshooting ChatGPT Error Messages | OpenAI Help Center] "Ensure that the file is recently generated, files generated by ChatGPT expire quickly"</ref>，官方網頁沒有提到明確的時間限制。有使用者提到約一小時<ref>[https://community.openai.com/t/code-interpreter-maintaining-files-uploaded-to-session-and-session-state/669626 Code Interpreter - maintaining files uploaded to session and session state - ChatGPT - OpenAI Developer Community]</ref>。超過時間限制，就會導致產生的檔案不見。

如果在同樣對話一直鬼打牆，解決方法只能開啟新對話，重來一次

2. 替代方案是不要直接生成檔案，而是將檔案內容顯示在對話裡。

如果一直無法生成檔案，可以試著改成把檔案內容直接顯示在對話裡。這比較適合文字類型的檔案。

3. 有些網路教學文章提到檔案名稱必須改成英文才能正常下載，但根據網友測試心得，改成英文檔案名稱，並不保證一定可以下載檔案。

測試可以下載繁體中文的檔案名稱的模型：
# ChatGPT 5
# ChatGPT 4o

提示詞：
<pre>
產生範例 CSV 檔案，欄位包含：商品名稱、數量、銷售日期、總金額。
請提供使用繁體中文檔名的 CSV 檔案。
</pre>

== 如何使用 AI 程式工具快速了解程式碼專案 ==
1. 下載 Visual Studio Code
https://code.visualstudio.com/

2. 選單 -> 開啟資料夾：選擇專案的資料夾

3. 聊天預設是「Ask」改成「Agent」模式，就會自動看整個專案結構。你再輸入想要問的專案問題 ([https://hackmd.io/@LWS9lwHlSHK5Qb8Aia1L2g/HyzPQHz4-g 操作教學])

== 是否有不需連網的AI軟體 ==

📝 問題：是否有不需連網的AI軟體？

💬 回答：離線AI軟體選項

其實可以離線運行AI模型的軟體還不少 ([[Run_LLMs_locally | 可以離線運行AI模型的軟體清單]])，我建議可以試試 Ollama 或 LM Studio

使用本地端模型的考量

(1) 調整對本地端模型的期待

如果你習慣使用雲端 AI 模型，會比較難習慣本地端模型的表現，需要降低對本地端模型的期待。

(2) 模型選擇與實際應用

目前我最常使用的本地端模型是 gpt-oss:120b。亞太智能的 Jerry 在生成式 AI 小聚曾經分享，它缺乏台灣在地主題的知識。我實際測試在基礎標籤任務上表現還不錯。

實際工作應用：會指派相對簡單的任務，例如：
(1) 使用雲端模型搜尋與彙整資料，再由本地端模型進行二次確認
(2) 特別注重隱私的資料，必須由本地端模型處理


== 同一個模型，API 跟網頁介面（月費訂閱制）用起來有差嗎？ ==

📝 問題：同一個模型，API 跟網頁介面（月費訂閱制）用起來有差嗎？

💬 回答：

# 額度差別： 月費訂閱版本的網頁版每天有額度限制，用完當日額度後需要等待約數小時才能恢復；API 則是看你的「鈔能力」取決於你的預算，使用上更有彈性，例如可以發送更多請求、更高的頻率。就像包裝好、限定份量的套餐 vs. 自助餐——只要有錢可以一直吃。
# 特有參數： 有些參數只有 API 才能調整，網頁版不一定會提供。以 Gemini 為例，同樣是免費或基本方案，網頁版的可調參數就比 Google AI Studio（接近 API 的介面）少很多。
# 使用對象差異： 月費制的網頁版設計比較針對一般使用者，以容易操作為主，並且已經串好實用工具，像畫圖、程式碼開發、數據報表分析、搜尋網路等；如果需要進階功能，則可以查閱 API 文件，看有哪些功能符合自己需求——但這些工具通通需要開發者自行串接搞定。
# 對話記憶： 若是純文字對話，網頁版與 API 的主要差異在於：網頁版的上下文（對話記憶）由廠商處理，API 則需要開發者自行管理。
# 系統提示詞： 網頁版（如 Claude.ai）的系統提示詞由 Anthropic 維護並定期更新 <ref>[https://platform.claude.com/docs/en/release-notes/system-prompts System Prompts - Claude API Docs]</ref>；而 API 的系統提示詞由開發者自行決定。
# 潛在風險： API 彈性雖大，但也需要自行負責安全性。網路上常會看到金鑰外流或流量爆掉的案例，導致收到好幾百甚至上千美金的帳單，使用時務必做好存取控管。


== 導入 AI 輔助開發工具對舊有程式碼進行重構，如何切入？ ==

📝 問題：由於負責維護一套運行超過十年的老系統，上司說：需要導入 AI 輔助開發工具對舊有程式碼進行重構。
身為團隊中對 agentic AI 工具的資淺負責人，需要帶領其他資淺成員推動這項任務，且在沒有外部專業顧問支援的情況下，應如何有效切入並推進？

💬 回答：

[https://webconf.tw/ WebConf] 有兩場演講很值得參考：

第一場直接切題，講者分享了一個跨越數十年的老系統重構實戰經驗，有共筆和簡報可以參考。雖然有用到 AI coding 工具，但強調重構本質還是基礎的軟體工程。

第二場主題雖然寫是商業思維，但場景跟你很像——老闆交辦重構任務。講者的切入角度很務實：開發時間與資源有限，與其一比一完整改寫，不如先在舊系統埋 log，收集哪些功能實際上有人在用，再拿這份使用數據去說服老闆和各利害關係人，證明不需要全部重寫。
這兩場加起來，剛好涵蓋你面對的兩個核心問題：先思考商業思維、然後在怎麼動手做。

# AI 時代的 Legacy Code 營救術 https://webconf.tw/speakers/39
# 活在科技工作者最好的年代，用商業思維優化你的人生選擇 https://webconf.tw/speakers/18

== 相關文章 ==
* [[Troubleshooting of OpenAI API in Mandarin|OpenAI API 技術問題疑難排解]]
* [https://arxiv.org/html/2502.11959 STRIVE: Structured Reasoning for Self-Improvement in Claim Verification]

== 參考資料 ==
<references />

[[Category: Tools]] 
[[Category: Generative AI]]