风君子博客3月29日消息,360创始人周鸿祎发布视频,称要“开源个能处理50万字长文本的大模型给大家玩玩”。
周鸿祎称,大家前段时间都在卷文本长度,很快100万字就是标配了。所以我们打算把这个能力开源,让国内所有大模型都能支持超过20万字,大家不用再各自闭门造车,重复发明轮子。
周鸿祎透露,这两天准备开源 360 智脑的一个 70 亿参数大模型,把 360k、50 万字左右的长文本能力开源。
此前,周鸿祎还发表长文《我是开源的信徒,坚信开源是伟大的力量》,介绍了开源的三个原因:
第一,我是开源的信徒,信奉开源的力量。大家前段时间都在卷文本长度,20 万字、50 万字,很快 100 万字就是标配了。所以我们把这个能力开源了,让国内所有大模型都能支持超过20万字。当然我们为了讨个口彩,定了360k,也就是 50 万字左右。让你的大模型也具备一次读一本《三国演义》或《三体》的能力。发挥开源的力量,让大家不用再各自闭门造车,重复发明轮子。我也希望随着开源的发展,未来至少能跟闭源相提并论。
第二,小模型速度快,用户体验也好。单机单卡就能跑起来,性价比高。比如 360AI 搜索用了差不多 10 个百亿模型,响应速度比国内所有大模型都快。360AI 浏览器背后也有5个场景大模型,每个模型单干自己最擅长的事,比如说读、翻译、安全等。经过垂直训练,小规模参数的大模型在单项能力上是可以超过 GPT-4的。未来,企业级模型也不需要用千亿大模型,用百亿甚至几十亿的大模型就够了。这样也最容易普及。
第三,360智脑的长文本能力亲测好用,我读论文、看书一直在用。最近 360AI浏览器火了一把,原因是拥有长文本能力。比如我每天需要读各种论文,但是英文又不好,360AI浏览器就能帮助我分析论文。另外现在我确实太忙了,为了保持过去每年读100 本书的速度,我就用这个浏览器帮我读书。扔一本《未来简史》进去,不到1分钟就把简介、重点和脑图都总结出来了,我平时读这样一本书需要2个多小时,现在 10 分钟读完。我有一种读书方法叫“粗读、细读和精读”。每天花 10 分钟让 Al 帮你读一本书,感兴趣的再去细读和咀嚼,坚持一年,起码可以看 50-100 本书,也能缓解职场焦虑。所以我也希望开源这个能力,对更多人有用。(果青)