12月15日,NVIDIA GTC 2020中国线上大会上,NVIDIA首席科学家Bill Dally发表主题演讲,重点介绍了他的团队在AI研究方面的进展,特别强调了以NVIDIA创始人兼CEO黄仁勋本人命名的“黄氏定律”Huang's Law)。
众所周知,“摩尔定律”在过去半个世纪推动着CPU处理器的飞速发展,而近些年明显慢了下来,GPU则持续提升,同时担任的角色也越来越多,尤其是在这个无处不AI的世界。
Bill Dally拥有120多项专利,曾任斯坦福大学计算机科学系主任,2009年加入NVIDIA,负责AI、光线追踪、高速互连领域的相关研究。
他说:“如果我们真的想提高计算机性能,黄氏定律就是一项重要指标,且在可预见的未来都将一直适用。”
为实现这一突破,NVIDIA专门开发了一种名为MAGNet的工具,它生成的AI推理加速器在模拟测试中能够达到100TOPS/W每瓦特100万亿次操作)的推理能力,比目前的商用芯片高出一个数量级。
MAGNet采用了一系列新技术,协调并控制通过设备的信息流,最大限度地减少数据传输,而数据传输正是当今芯片中能耗最大的环节。
另外,NVIDIA还研究了更快速的光链路,可取代现有系统内的电气链路,通过利用密集波分复用技术,有望在仅仅1毫米大小的芯片上,实现Tb/s级数据的传输,是如今互连密度的十倍以上。
Bill Dally还举例展示了一个新的NVIDIA DGX系统模型,借助光链路可集成160多颗GPU。
本次GTC大会吸引了众多行业领军企业与机构参与,包括阿里巴巴、AWS、百度、字节跳动、中国电信、戴尔科技、滴滴、新华三、浪潮、快手、联想、微软、平安、腾讯、清华大学、小米。