有 CPU 就能跑大模型，性能甚至超过 NPU / GPU！ 没错，为了优化模型端侧部署，微软亚洲研究院提出了一种新技术 —— T-MAC。 这项技术主打性价比，不仅能让端侧模型跑得更快，而 … Continue reading 手机跑大模型提速 4-5 倍：微软亚研院开源新技术 T-MAC，有 CPU 就行
有 CPU 就能跑大模型，性能甚至超过 NPU / GPU！ 没错，为了优化模型端侧部署，微软亚洲研究院提出了一种新技术 —— T-MAC。 这项技术主打性价比，不仅能让端侧模型跑得更快，而 … Continue reading 手机跑大模型提速 4-5 倍：微软亚研院开源新技术 T-MAC，有 CPU 就行