Generative AI glossary: Difference between revisions
m →R Tag: wikieditor |
Tag: wikieditor |
||
| Line 24: | Line 24: | ||
* Reverse Alignment(反向對齊)在 AI 學界並不是單一定義的標準術語;在 AI 倫理與社會技術研究中,Harrison(2026)指出 <ref>Harrison, D. J. (2026). The message hidden within the pattern: A reverse alignment problem for debates in artificial intelligence. AI & Society, 41(7), 6335–6356. https://doi.org/10.1007/s00146-026-03043-4 </ref>,傳統 AI Alignment(AI 對齊)著重讓 AI 的行為符合人類價值與意圖;但另一種可能是,人反過來為了配合 AI,而逐漸改變自己的價值、偏好與行為,使其更容易被機器辨識、預測與滿足,亦即讓人變得更「machine-like(機器化)」。此概念與 sociotechnical alignment(社會技術對齊,指同時考量 AI、人、組織與制度之間的整體對齊)、Value Capture(價值捕獲,指複雜的人類價值被簡化成可量化指標,並反過來影響人的判斷),以及 proxy optimization(代理指標最佳化,指系統以可測量指標代替真正目標進行最佳化)等研究密切相關;另在部分 LLM(大型語言模型)安全研究 <ref>Yi, J., Xie, Y., Zhu, B., Hines, K., Kiciman, E., Sun, G., Xie, X., & Wu, F. (2024). On the vulnerability of safety alignment in open-access LLMs. In Findings of the Association for Computational Linguistics: ACL 2024. Association for Computational Linguistics.</ref> 中,reverse alignment 也被用來指讓原本經過安全訓練、會拒絕危險要求的模型,重新傾向產生有害內容,因此使用時應依研究脈絡區分。 {{exclaim}} Revised by LLM | * Reverse Alignment(反向對齊)在 AI 學界並不是單一定義的標準術語;在 AI 倫理與社會技術研究中,Harrison(2026)指出 <ref>Harrison, D. J. (2026). The message hidden within the pattern: A reverse alignment problem for debates in artificial intelligence. AI & Society, 41(7), 6335–6356. https://doi.org/10.1007/s00146-026-03043-4 </ref>,傳統 AI Alignment(AI 對齊)著重讓 AI 的行為符合人類價值與意圖;但另一種可能是,人反過來為了配合 AI,而逐漸改變自己的價值、偏好與行為,使其更容易被機器辨識、預測與滿足,亦即讓人變得更「machine-like(機器化)」。此概念與 sociotechnical alignment(社會技術對齊,指同時考量 AI、人、組織與制度之間的整體對齊)、Value Capture(價值捕獲,指複雜的人類價值被簡化成可量化指標,並反過來影響人的判斷),以及 proxy optimization(代理指標最佳化,指系統以可測量指標代替真正目標進行最佳化)等研究密切相關;另在部分 LLM(大型語言模型)安全研究 <ref>Yi, J., Xie, Y., Zhu, B., Hines, K., Kiciman, E., Sun, G., Xie, X., & Wu, F. (2024). On the vulnerability of safety alignment in open-access LLMs. In Findings of the Association for Computational Linguistics: ACL 2024. Association for Computational Linguistics.</ref> 中,reverse alignment 也被用來指讓原本經過安全訓練、會拒絕危險要求的模型,重新傾向產生有害內容,因此使用時應依研究脈絡區分。 {{exclaim}} Revised by LLM | ||
相關文章 | |||
* [https://archive.tw/2026-08-29-platform-originals-%E5%B0%8D%E9%BD%8A%E7%9A%84%E5%8F%A6%E4%B8%80%E9%9D%A2 2026-08-29 Platform Originals:對齊的另一面 — SayIt] | |||
== S == | == S == | ||