标签：大语言模型

少量毒样本即可污染任意规模的大型语言模型

本研究聚焦于狭义后门(生成无意义文本)，此类漏洞在前沿模型中尚不构成重大威胁。但我们仍公开这些发现，旨在揭示数据投毒攻击可能比预期更具可行性，并推动该领域防御机制的深入研究。

据我观察，绝大多数大语言模型(LLMs)应用都停留在花哨的自动补全功能上，常通过Co-pilot实现。但真正从大语言模型(LLMs)中获益最多的人士认为自动补全价值有限

未来的编程语言很可能与当今的编程语言大不相同。它们将更注重数学严谨性而非人类可读性，更注重形式化保证而非灵活表达能力，更注重组合清晰性而非语法糖。

我们使用大语言模型(LLM)进行膨胀，这并不应被视为对这些出色工具的批评。然而，这可能会让我们思考为什么我们会膨胀内容。

最大的模型是如此复杂，以至于研究人员把它们当作奇怪的自然现象来研究，进行实验并试图解释结果。其中许多观察结果与经典统计学背道而驰，而经典统计学为我们提供了一套预测模型行为的最佳解释。

我经常看到有人在说 “越狱(jailbreaking ) “时使用 “提示注入(Prompt injection) “一词。这种错误现在太常见了，我不确定是否有可能纠正：语言的含义（尤其是最近创造的术语）来自语言的使用方式。但我还是要尝试一下，因为我认为这种区别真的很重要。