LLMs Usage FAQ in Mandarin
LLMs 使用常見問題與解答
如何解決「強制保持繁體中文輸出」
📝 問題： AI 回答的內容包含簡體中文字
💬 解決方式：
- 在問題前加上 #zh-TW。[1]
- 或指定「使用臺灣常用的繁體中文」。
範例：
部份模型無法區分繁體中文與簡體中文的差別，因此保哥建議提供繁體中文與英文對照的詞彙表。
請使用台灣常用的繁體中文： 規則： - 使用全形標點符號，中英文之間加入空格。 - 以下是常見的 AI 相關術語詞彙對應表（English -> 中文）： * Transformer -> Transformer * Token -> Token * LLM/Large Language Model -> 大語言模型 * Zero-shot -> 零樣本 * Few-shot -> 少樣本 * AI Agent -> AI 代理 * AGI -> 通用人工智慧
我想產生更長的文章內容
📝 問題： 我想要使用 LLMs 產生 5000~6000 字的文章，但是每次只能產生 1000~1500 字的文章。
💬 原因： LLMs 模型有上下文 (context window) 的長度限制，每次請求的輸入與輸出加起來的 token 數量有固定限制。因此每次產生的結果都會遇到 1000~1500 字的上限。建議的解決方式（workaround）是將預定輸出的文章進行結構拆解，分章節逐步輸出內容。
解決方案： 如果無法一次產生 5000~6000 字的文章，可以在輸入指示中事先規劃五個章節架構，再依照章節順序逐次產生內容，最終達到 5000~6000 字文章的產出目標。
以 OpenAI o3 模型為例：(1) Context Window (200,000)：輸入 + 輸出的總額度、(2) Max Output Tokens (100,000)：單次回答上限。實際輸入空間：200,000 - 預計輸出長度如何讓 AI 處理長篇文章
📝 問題：上下文長度限制 LLMs 模型受到上下文窗口（context window）長度的限制，以翻譯長文章為例，由於無法一次處理全部內容，我們需要將文章分段進行處理。
💬 處理方式：分塊處理與保持上下文連貫的策略
處理長文時需要採用分段切塊（Chunking）的技術策略[2]。為了讓模型在處理後續段落時能夠理解前面章節的脈絡，一個有效的方法是將前面文章摘要的切塊策略：
- 先將前面章節進行摘要
- 將摘要與待處理的下一章節全文一起輸入給 AI
- 這樣既能保持上下文連貫性，又能節省 token 使用量
重疊式切塊策略
另一種切塊策略適用於處理逐字稿的編輯。逐字稿的格式通常包含時間戳記和對應的字幕內容：
1 00:00:00,001 --> 00:00:02,000 所以你先回答我 2 00:00:02,000 --> 00:00:06,000 有哪一個國家讓憲法把你空窗那麼久的 3 00:00:06,000 --> 00:00:10,000 你再來跟我說有哪一個國家沒有這樣制定
如果直接將第 3 段獨立送到 AI 編輯，很容易因為缺乏前面的對話脈絡而產生錯誤。此時可以採用「允許部分重疊（overlap）」的內容切塊策略。以下是一個改善中文逐字稿的 prompt 範例[3]：
你的任務是改善中文口語訪談的逐字稿段落。您需要增加標點符號、確保段落連貫、保持原意，並視需要重寫部分文字。請使用台灣常用的繁體中文。
這是前文段落：
<previous_paragraph>
{PREVIOUS_PARAGRAPH}
</previous_paragraph>
這是目前的段落：
<current_paragraph>
{CURRENT_PARAGRAPH}
</current_paragraph>
這是後文段落：
<next_paragraph>
{NEXT_PARAGRAPH}
</next_paragraph>
這種方法讓 AI 能夠同時參考前後文內容，確保處理結果的連貫性和準確性。
如何解決 AI 會忘記訓練內容
📝 詢問內容：
我想進一步請教一個問題：如果我們採用「層層優化提示詞」這種漸進式的方法來改善AI表現，會不會遇到以下情況：在經過多次提示詞優化後，AI確實學會了相關技能並表現良好，但是過了一段時間後，它又忘記了這些已經訓練好的能力？ 我想了解現在各大主流AI模型平台是否都具備穩定的記憶保留功能，也就是說，它們能夠持續記住之前我們給予的訓練提示和指導內容嗎？ 我有時候會感覺AI的記憶力似乎不太穩定。在同一個專案進行過程中，明明之前已經向AI詳細說明過的內容和要求，過了一陣子卻需要重新從頭解釋一遍，這讓我對AI的學習持續性產生疑問。
💬 回覆內容：
早期的AI模型由於context window（上下文視窗）長度限制較短，很容易出現偏離原本設定方向的情況。當我遇到這種狀況時，我通常會選擇開啟一個全新的對話，重新開始整個互動過程。
現在的AI模型在這方面應該有顯著的改善。如果這次的對話效果令人滿意，我建議你可以給AI下達一個指令，要求它總結並收斂整個對話過程，將對話中累積的互動原則和經驗歸納整合到最初的提示詞中：
假設我要開啟一個新的對話來討論相同的主題，請你建議我應該使用怎樣的完整提示詞。 這個提示詞需要包含我們整個討論過程中的重要內容： (1) 原本提示詞想要解決的核心問題和目標 (2) 與原本問題相關聯，但是一開始的解決方法沒有充分考慮到的重要面向和細節
如何解決：AI 好笨啊，問它 AABB 都不知道
📝 詢問內容：AI 好笨啊，問它關於 AABB 主題的事情都不知道，怎麼這麼難用？
💬 回覆內容：AI 基底模型 (base model) 有知識截止時間 (knowledge cut-off date)，當超出這個模型的時間限制，很容易會遇到幻覺或不懂的狀況。
建議啟用網路搜尋功能或者是直接將關於介紹 AABB 主題的文件提供給 AI，讓它具備先備知識，然後才討論這個主題。
解決 AI 不懂裝懂的問題，也可以採用上傳知識檔案 (knowledge files) 的方式解決，要求 AI 根據知識檔案回答提問的問題。