月之暗面杨植麟:o1范式创新会形成一些突破机会
原标题:月之暗面杨植麟:o1范式创新会形成一些突破机会
导读:
常年隐身幕后的老板们可能想不到有一天自己也会变成预备主播以前老板们不进直播间是因为恐惧镜头不懂运营但现在淘宝打算手把手的教类似服务网红明星的全托管模...
常年隐身幕后的老板们,可能想不到有一天自己也会变成预备主播。以前老板们不进直播间是因为恐惧镜头、不懂运营,但现在淘宝打算手把手的教。类似服务网红明星的全托管模式
作者 | 刘宝丹
编辑 | 黄昱
随着Open AI发布首款具有推理能力的模型o1,AI大模型行业迎来新一波技术变革。
9月19日,在2024云栖大会上,月之暗面创始人杨植麟表示,o1的推出确实意义很大,主要的意义在于提升了 AI上限。“提升10%的生产力,还是说10倍GDP,这里面最重要的问题,就是能不能通过强化学习去进一步scaling。”
AI已经有七八十年的发展历史, 有效的就是scaling,就是去加更多的算力。杨植麟认为,在o1提出来之前,很多人在研究强化学习,它如果跟大语言模型或者跟Pre-Training(预训练)和Post-Training(后训练)整合在一起,能不能持续提升,可能没有一个 确切的 。
o1对AI大模型现阶段发展的意义在于,它带来了新的范式改变。
在杨植麟看来,GPT4这一代模型的提升,更多的是一个确定性的提升,在一样的范式下,把规模变得更大,肯定会有确定性的提升,但o1的提升并不是一个完全确定性的提升。随着优质数据被用完,原来的范式可能会遇到问题,AI有效需要进一步scaling,o1很大程度上 了这个问题。
基于此,杨植麟判断,会有越来越多的人投入去做这个事情,o1是一个很重要的开端。
杨植麟认为,接下来最重要的mile stone可能是开放性地强化学习,比如,在产品上跟用户去交互,在一个真实的环境里完成任务,然后自己去进化。“o1一定程度上说明这个方向有更强的确定性,这可能是AGI路上现在仅剩 一个重要问题了。”
每一次技术范式的改变都会对应用侧带来新的机会。他认为,很多产业格局或者创业公司的机会发生一些变化,由于训练和推理的算力占比会发生很大的变化,尤其推理算力提升会更快,本质上是会产生很多新的机会。
一方面,对于达到一定算力门槛的公司,其实可以在这里面做很多算法的基础创新,甚至在基础模型上取得突破;对于算力相对少一点的公司,可以通过后训练的方式,在一些领域做到 的效果,整体打开了至少是创业相关的想象空间。
对月之暗面来说,o1也会带来显著的变化,甚至影响公司在战略上的一些投入力度。
据杨植麟透露,o1是一个好机会,对于新的技术维度,公司之前或多或少也有一些投入,现在可能会变成一个主题。
“这个主题下面,会有 多的新机会,除了泛化,还有一些基础的技术问题可能不完全 ,这里面可能很多性质,今天也许也没有被完全探索清楚。如果能够做好的话,可以把现在的很多能力去提升一个台阶。”
现阶段,AI大模型还处于产业发展的早期,产品的研发主要是依靠技术驱动,根据新的技术进展来倒推产品方向,杨植麟也在思考如何将技术落地到业务中。
他认为,现在的技术发展可能带来两方面影响,一个是会有很多探索新的PMF(Product Market Fit)的机会,PMF指的是两样东西的平衡,系统二的思考导致延时增加,对用户来说,它其实是一个负向的体验,它确实能提供更好的输出,甚至能完成一些更复杂的任务。
对月之暗面来说,新PMF探索的过程,是要在延时增长的用户体验下降和结果产生质量更高的用户价值上升之间,去找到一个平衡点。杨植麟认为,“要让增量价值大于体验损失,这个是很重要,可能一些更高价值的场景会率先能有一些东西出来。”
二是产品形态上也会发生一些变化,AI的即时聊天产品现在可能思考20秒40秒,以后的AI可能要思考或者去调用各种工具,执行分钟级别甚至天级别的任务,产品形态上可能会更接近一个人,assistant或者助理的概念,这里面的想象空间很大。
月之暗面的重点仍然是在产品和技术上持续的创新,杨植麟希望,至少可能在一两个重要领域能够做到世界 。
在这场AI大模型的技术竞赛中,杨植麟和他所带领的月之暗面必须要全力以赴。