改写样本（Rephrased Samples）

13B模型全方位碾压GPT-4？这背后有什么猫腻

你的测试集信息在训练集中泄漏了吗？一个参数量为 13B 的模型竟然打败了顶流 GPT-4？就像下图所展示的，并且为了确保结果的有效性，这项测试还遵循了 OpenAI 的数据去污方法，更关键的是没有发现数据污染的证据。如果你细细查看图中的模型，发现只要带有「rephraser」这个单词，模型性能都比较高。这背后到底有何猫腻？原来是数据污染了，即测试集信息在训练集中遭到泄漏，而且这种污染还不易被检测到。尽管这一问题非常关键，但理解和检测污染仍然是一个开放且具有挑战性的难题。现阶段，去污最常用的方法是 n-gram 重叠

11/18/2023 10:24:00 AM

机器之心

资讯热榜

Mac也能跑Qwen3，一文看懂本地部署qwen 3配置要求小米开源“Xiaomi MiMo”大模型：为推理而生，以 7B 参数超越 OpenAI o1-mini Unsloth发布Qwen3动态量化2.0版本，优化本地运行体验小米首个推理大模型Xiaomi MiMo开源看不懂新开源的DS-Prover V2版本？解读来了，攻克像人类一样数学证明，达到SoTA水平，不知道如何测？样题来了小米首个推理大模型开源Xiaomi MiMo，70 亿参数性能与效率的双赢:Qwen3横空出世，MoE架构大幅降低部署成本 DeepSeek-Prover-V2-671B 模型开源，数学推理领域迎来新突破

标签云

人工智能 OpenAI AI AIGC ChatGPT AI绘画 DeepSeek 模型数据机器人谷歌大模型 Midjourney 智能用户开源学习 GPT 微软 Meta 图像 AI创作技术论文 Gemini Stable Diffusion 马斯克算法蛋白质芯片代码生成式英伟达腾讯神经网络研究 Anthropic 计算 3D Sora AI for Science AI设计机器学习开发者 GPU AI视频华为场景人形机器人预测百度苹果伟达 Transformer 深度学习 Claude xAI 模态字节跳动大语言模型搜索驾驶具身智能神器推荐文本 Copilot LLaMA 算力视觉安全训练视频生成干货合集应用大型语言模型亚马逊科技智能体 AGI DeepMind