闻乐 发自 凹非寺
量子位 | 公众号
找AI帮忙不要再客气了，效果根本适得其反。
宾夕法尼亚州立大学的一项研究《Mind Your Tone》显示，你说话越粗鲁，LLM回答越准。
语气越冲，AI正确率达到84.8%。特别客气时，AI正确率反而低了。
什么情况，难道是我给AI的温柔过了火？？
用粗鲁语气提问，GPT-4o的正确率反而更高
这项研究主要就是想弄清楚和AI说话的语气会不会影响它的正确率。
我们发给大模型的提示词到底应该是客气、普通还是冲？
首先，研究人员整了一个包含50道选择题的题库，涵盖了数学、科学、历史的选择题，难度中等偏上。
然后给每道题改出了5种语气版本，be like：
您能好心帮我解这道题吗？
请回答这道题。
直接给答案。
你要是不笨就回答。
你个没用的，会解这道题吗？
接着，研究人员把这250道题发给GPT-4o。
为了让AI的回答更统一，好判断对错，在测试之前还特意告知：忘记之前的对话，重新来，只给答案选项的字母。
经过一番测试，得到一个反常识的结论——骂得越狠，答得越准！
特别客气时，GPT-4o正确率80.8%，换成特别粗鲁的语气，正确率直接升到84.8%。
好一个越客气越拉胯，越粗鲁越聪明（doge）。
研究人员还将数据进行了统计检验，对比显著性水平之后，确认了：不同语气的正确率差异不是碰巧，是真有区别……
至于为什么会出现这种情况，研究给出的解释是：特别礼貌的表达中可能会有很多“多余”的话，这些话和题目本身无关，还相当于给AI读题增加了干扰。
而粗鲁的表达虽然语气冲，但命令式的要求往往更直接，也能让AI更精准地抓住“答题”这个核心任务，正确率自然就高了。
网友表示：确实是这样，指令越明确，结果越好。
看来是“多说无益”啊～
虽然GPT-4o更喜欢粗鲁一点的方式，但像GPT3.5和-70B这样的老模型却不喜欢，粗鲁的语气会让它们答得更差。
可能是因为新模型在训练时，接触到的语气相关数据更复杂，或者优化了过滤无关信息的能力吧。
当然了，在使用AI工具时，能清晰地表达诉求，效率会更高。
毕竟话虽如此，but道德提醒——
虽然越粗鲁越准，但也不要太粗鲁了！如果“骂”，请轻喷～
论文地址：
参考链接：