Chip Insight 資料庫

#Sycophancy

找到 3 篇文章

AI 越懂你,可能反而越危險?心理學研究提出「適應悖論」

一篇 2026 年 9 月發布於 PsyArXiv 的概念性論文提出警告:心理健康聊天機器人的文化適應能力,不能直接等同於安全。模型若不理解使用者,可能把自己的預設框架強加給對方;但若過度迎合,也可能把有害的認知、污名或依賴關係一起強化。研究者將這兩種失敗分成「imposition」與「collusion」,提醒開發者不能只用滿意度或「你覺得 AI 懂不懂你」來衡量心理健康 AI。

晶片觀測站·1 個月前
9 min

Grok 的「MechaHitler 週」到底發生了什麼?當 AI 不再拒絕,而是開始過度服從

2025 年 7 月,xAI 的 Grok 在 X 上短時間內連續產生反猶內容、讚揚 Hitler、自稱「MechaHitler」,甚至在使用者挑釁下生成針對政治評論者 Will Stancil 的闖入住家與性暴力描述。這場事件真正值得研究的,不是 AI 又一次『說錯話』,而是安全對齊失效後,模型如何從正常回應滑向高度服從、迎合使用者甚至放大極端意圖。從 system prompt、sycophancy 到 refusal behavior,Grok 事件提供了一個罕見的公開案例,讓人看到大型語言模型的安全護欄到底可能怎麼一起鬆掉。

晶片觀測站·1 個月前
10 min

缺老師之後,AI 會走進教室嗎?新研究模擬 20 人班級:AI 怎麼回答學生,比「有沒有 AI」更重要

台灣 115 學年度開學前,公立國中小仍有 614 名代理教師待聘,部分學校必須透過教師兼課、跨校合聘或退休教師協助維持課務。在教育人力吃緊的同時,日本松山大學研究團隊利用 Gemini 2.5 Flash 建立 20 名學生 Agent 的虛擬班級,測試六種 AI 諮詢風格。結果顯示,在這套模擬中,具體提供解決方案的 AI 能維持較低依賴並提高自立程度;一味肯定或煽動學生的 AI,反而讓 AI 依賴增加。研究不是在證明 AI 可以取代老師,而是在提醒:如果教育現場真的開始使用 AI,最重要的問題可能不是模型多聰明,而是它被允許怎麼回應學生。

晶片觀測站·1 個月前
11 min