OpenAI发布GPT-4，有哪些手艺趋势值得关注？

本文是新浪微博新手艺研发负责人、中国中文信息学会理事张俊林在知乎问题「OpenAI 发布 GPT-4，有哪些手艺上的优化或突破？」下的回答，总结了GPT4手艺申报里指出的三个方位，还提及了两个其它手艺方位。

在这个历史性的时刻，回答个问题，留下自己作为历史见证人的足迹。GPT4的手艺申报里很明确地指出了三个新的方位：第一，LLM最前沿钻研的查封化或小圈子化。手艺申报里说了，出于竞争以及安全等方面的考虑，未公布模型规模等手艺细节。从GPT 2.0的开源，到GPT 3.0的只有论文，再到ChatGPT连论文也没有，直到GPT 4.0的手艺申报更像效果评测申报。一个很明显的趋势是，OpenAI做实了CloseAI的名号，之后OpenAI的LLM最前沿钻研不会再放出论文。在这个情形下，其它手艺相对领先的公司有两种抉择。一种是做更极致的LLM开源化，比如Meta貌似抉择了这条道路，这一般是竞争处于劣势的公司作出的合理抉择，但是往往相关手艺不会是最前沿的手艺；另外一种抉择是跟进OpenAI，也抉择手艺查封化。Google之前算是LLM的第二梯队。但在“微软+OpenAI”的一顿组合拳下，现在局面有点狼狈不堪。GPT 4.0去年8月就做好了，预计现在GPT 5.0正在炼丹过程中，这么长的时间窗口，结果Google都能落到目前这个局面，想想Transformer、CoT等特别很是关键的一些钻研都是自己做出来的，竟沦落至此，不知一众高层作何感想。Google在后面能快捷跟进，维持在第二梯队应该问题不大，很可能比第三名手艺也领先很多。出于竞争关系考虑，我猜Google大概率会跟进OpenAI走手艺查封的线路，最先进的LLM手艺优先用来炼属于自己的丹，而不是写成论文放出来普惠大众尤其是普惠OpenAI。而这很可能导致LLM最前沿钻研的查封化。从现在算起，国内在经过一阵时间后（要做到ChatGPT的6到7折应该比较快，要追平预计要较长时间），必然被迫进入自主创新的局面。从最近三个月国内的各种情况看，将来会如何？大概率不太乐观。当然，这个关肯定很难，但必须得过，只能祝愿有本领且有初心者尽力加油了。第二，GPT 4手艺申报里提到的LLM模型的“本领预测（Capability Prediction）”是个特别很是有价值的新钻研方位（其实之前也有个别其它资料，我记得看过，但是具体哪篇记不起来了）。用小模型来预测某些参数组合下对应大模型的某种本领，如果预测足够精准，能够极大缩短炼丹周期，同时极大减少试错利润，所以无论理论价值还是实际价值巨大，这个绝对是特别很是值得认真钻研具体手艺方法的。第三，GPT 4开源了一个LLM评测框架，这也是后面LLM手艺快捷发展特别很是重要的方位。尤其对于中文，构建实用的中文LLM评测数据和框架具备特别重要的意义，好的LLM评测数据可以快捷发现LLM目前存在的短板和改进方位，意义重大，但是很明显目前这块基本处于空白状态。这个对于资源要求其实没那么高，适合很多机构去做，不过确实是个辛苦活。除了GPT 4手艺申报里明确指出的三个方位，因为最近LLM各方面新闻比较多，顺手再写两个其它手艺方位。首先，斯坦福大学近在Meta的7B 开源LLaMA基础上，加上Self Instruct手艺构造的Alpaca，也代表了一个手艺方位。如果归纳下，这个方位可以被称为“低利润复现ChatGPT”的方位。所谓Self Instruct，就是采取一定手艺手段，不用人工标注Instruct，而是从OpenAI的接口里，好听点叫“蒸馏”出Instruct，也就是不用人标注，而是ChatGPT作为teacher，给你的Instruct打上标注结果。这个把Instruct标注利润直接打到了几百美金的基准，时间利润就更短了。再加上模型7B规模也不大，所以可以看成一种“低利润复现ChatGPT”的手艺线路。我预计国内早就有不少人采取这个手艺线路了。毫无疑问，这是一条捷径，但是走捷径有好处有坏处，具体不展开谈了。在追赶ChatGPT的过程中，先把利润打下来去复现ChatGPT到七八成，我个人还是觉得可行也支持的，毕竟穷人有穷人的玩法。当然，追求把模型做小，效果又不怎么往下掉，如果能扎扎实实去做，是特别很是具有价值的。另外，具身智能毫无疑问会是LLM下一阶段的重点钻研方位。这方面的代表就是前阵子Google放出来的PaLM-E。目前的GPT 4，我们可以认为人类创造出了一个超级大脑，但还是把它封锁在GPU集群里。而这个超级大脑需要一个身体，GPT 4要和物理世界发生联系、交流和互动，并在物理世界中获得真实的反馈，来学会在真实世界里生存，并根据真实世界的反馈，利用比如强化学习来学习在世界游走的本领。这个肯定是最近的将来最热门的LLM钻研方位。多模态LLM给予了GPT 4以眼睛和耳朵，而具身智能给予GPT 4身体、脚和手。GPT 4和你我发生一些联系，而依托于GPT 4本身强大的学习本领，这个事情预计很快会出现在我们身边。如果你细想，其实还有很多其它有前途的方位。我的个人判断是：未来5到10年，将会是AGI最快捷发展的黄金十年。如果我们站在未来30年的时间节点，当我们回顾这10年时，我们中一定会有人，想起下面的诗句：“懂得，但为时太晚，他们使太阳在途中悲伤， 也并不温和地走进那个良夜。”原文链接：https://www.zhihu.com/question/589639535/answer/2937928726