谷歌大改 Transformer，“无限”长度上下文来了。现在，1B 大模型上下文长度可扩展到 1M（100 万 token，大约相当于 10 部小说），并能完成 Passkey 检索任务。 8B 大 … Continue reading 谷歌爆改 Transformer：“无限注意力”让 1B 小模型读完 10 部小说，114 倍信息压缩
标签： Transformer
谷歌新论文称“AI即将超越人类”还不现实，其有自身局限性
11月8日消息，三名谷歌研究人员在最新提交给预印本文献库(ArXiv)的一篇论文中指出，人工智能领域的底层技术深度神经网络transformer并不擅长归纳概括。 Transformer是ChatGP … Continue reading 谷歌新论文称“AI即将超越人类”还不现实，其有自身局限性
扩散模型和 Transformer 梦幻联动，一举拿下新 SOTA，MILA 博士：U-Net 已死
“U-Net 已死，Transformer 成为扩散模型新 SOTA 了！” 就在 ChatGPT 占尽 AI 圈风头时，纽约大学谢赛宁的图像生成模型新论文横空出世，收获一众同行惊讶的声音。 △MIL … Continue reading 扩散模型和 Transformer 梦幻联动，一举拿下新 SOTA，MILA 博士：U-Net 已死
Transformer 作者出走谷歌创业，专攻通用人工智能，已获得 6500 万美元投资
最近，一家 AI 初创公司引起了不少人的注意。在推特上宣布成立之时，有不少人为其点赞和转发。 一上来就要搞通用人工智能，什么来头？我们看了一下它的创始人名单： Ashish Vaswani 和 Nik … Continue reading Transformer 作者出走谷歌创业，专攻通用人工智能，已获得 6500 万美元投资