Description

由史上最大种子轮融资（20亿美元）、OpenAI前CTO Mira Myrati领衔创立的Thinking machine Labs，前天发布了这篇论文《克服 LLM 推理中的不确定性》。

摘要：

• 可重复性是科学进步的基石。然而，从大语言模型中获得可重复的结果极其困难。
• 例如，你可能观察到向ChatGPT多次提出同一个问题会得到不同的结果。这本身并不令人惊讶，因为从语言模型获得结果涉及"采样"过程——将语言模型的输出转换为概率分布并概率性地选择一个token。

来源：https://thinkingmachines.ai/blog/defeating-nondeterminism-in-llm-inference/