感谢网友 Skyraver 的线索投递!
1 月 23 日消息,据晚点 LatePost 报道,1 月下旬,字节正式设立代号为“Seed Edge”的研究项目,核心目标是做比预训练和大模型迭代更长期、更基础的 AGI 前沿研究,Seed Edge 已拟定 5 大研究方向。
-
下一代推理:探索更高效且更通用、提升模型推理能力的方法。
-
下一代感知:找到统一生成和理解表示的方法,表示和压缩真实世界,构建“世界模型”。
-
软硬一体的模型设计:从软硬一体出发,探索 Transformer+GPU 之外的模型设计,发挥下一代硬件的能力。
-
下一代范式:在反向传播、Transformer 架构、预训练 + 对齐的模式之外,探索更高效的模型结构和学习方法。
-
下一代 Scaling 方向:在预训练和推理阶段的 Scaling Laws 之外,探索 Multi-Agent(多智能体)和 Test-Time Training(测试时间训练,动态调整模型参数)等方向。
据了解,Seed Edge 会先以虚拟项目组的方式运行,探索这些不确定性更强的研究方向。
注意到,过去一年,字节跳动密集发布了多款 AI 大模型产品。就在昨天,字节跳动还推出了豆包大模型 1.5 Pro,增强了其综合能力,在知识、代码、推理、中文等多个测评基准上,据称综合得分优于 GPT-4o、Claude 3.5 Sonnet 等模型。
字节跳动官方介绍称,豆包大模型 1.5 Pro 宣称“所有模型训练过程中,未使用任何其他模型生成的数据”。豆包大模型 1.5 全产品,包括 Doubao-1.5-pro,Doubao-1.5-lite,Doubao-1.5-vision-pro 等,将继续保持原有模型价格不变,加量不加价。