芯东西10月25日毛伊岛报道(北京时间10月26日),昨日,高通推出旗舰移动平台第三代骁龙8、旗舰PC平台骁龙X Elite、旗舰音频平台第一代S7/S7 Pro、Snapdragon Seamless跨平台技术(高通甩出最强芯片三件套!手机跑100亿参数大模型,PC芯片逆袭苹果英特尔)。
在今日举行的2023骁龙峰会第二天主题演讲期间,高通多位高管轮番上阵,进行了超过3.5小时的密集技术干货输出,详细地理解阅读了3款旗舰芯片新品实现显著性能提升背后的核心技术。
荣耀CEO赵明现场宣布荣耀Magic6搭载70亿参数的端侧AI大模型技术,并宣布荣耀将加入骁龙X Elite大家庭,设计基于Arm的PC。
为了展示第三代骁龙8的生成式AI实力,高通在骁龙峰会现场演示了终端侧运行语音订票、语音对话AI虚拟助手、AI文生图。
不过在演示用百川智能大语言模型进行中文对话时意外翻了车——没有响应。可能是考虑演讲时间把控,该演示没有重启,而是直接被跳过了。
高通将骁龙X Elite称作是同级别Windows处理器中“最强大、最智能、最高效”的处理器。搭载骁龙X Elite的PC预计将于2024年中面市。
骁龙X Elite采用4nm工艺技术,搭载5G基带芯片骁龙X65和Fast Connect 7800 Wi-Fi/蓝牙芯片,采用高通最先进的CPU内存架构设计、LPDDR5X内存,最大内存带宽136GB/s,总缓存为42MB,低功耗支持PC一次充电管几天。
从高通晒出的好几张测试数据分析来看,高通称骁龙X Elite将“改变游戏规则”,还真不是在瞎吹牛。
同样功耗水平下,骁龙X Elite的CPU峰值性能达到14核x86处理器英特尔酷睿i7-13800H的2倍;同等峰值性能下,其功耗比i7-13800H竞品少65%。
比单线程,相同峰值性能下,骁龙X Elite的单线程CPU所用的功耗比Arm处理器苹果M2 Max功耗少30%,比x86处理器英特尔酷睿i9-13980HX功耗少70%。
比多线程时,竞品对象换成了M2,相同功耗水平下,其峰值多线%。这么一看估计是多线 Max。
该芯片采用定制的集成高通Oryon CPU,有12个性能核,3 Cluster设计,主频最高达3.8GHz,双核boost频率可达4.3GHz,是首个主频达到4.0GHz的Arm架构PC处理器,能支持视频转码、大数据集分析、代码编译等功能,同时可提供超长电池续航。
再来看集成的Adreno GPU,性能提升也很可观,在测试数据中做到“拳打”英特尔酷睿i7-13800H,“脚踢”AMD Ryzen 9 9740HS。
其GPU算力可达4.6TFLOPS,支持高达的内部显示屏、HDR10、3个UHD超高清或双5K外部显示屏。
骁龙X Elite还具备在终端侧运行大模型的能力,其AI解决能力是竞品的4.5倍,例如面向Windows 11 PC的终端侧聊天助手(基于70亿Llama 2大语言模型)可实现每秒处理30个token。
再比如,在运行经典的文生图模型Stable Diffusion 1.5时,骁龙X Elite的图像生成速度达到英特尔竞品的2.7倍;在跑优化版Stable Diffusion时,其图像生成快到用时不到1秒,速度达到竞品的20倍。
UL Procyon AI推理基准测试显示,骁龙X Elite的性能比x86处理器英特尔酷睿i7-13800H和AMD Ryzen-9 7940HS快10倍,让用户在使用背景虚化、降噪、使用AI滤镜等视频通话功能时能够享受到更无缝的体验。
这主要得益于负责加速AI计算的高通Hexagon NPU,针对生成式AI进行了架构优化,引入微Tile推理技术,处理大矩阵速度提升到以前的2.5倍,大共享内存也翻倍提升。Hexagon NPU最高可实现45TOPS INT4的AI算力,相较2017年时提升100倍。
升级的高通AI引擎,性能可达75TOPS,支持在PC本地运行超过130亿个参数的生成式AI模型。
骁龙X Elite是首个集成常感知ISP的PC处理器。其内置的高通传感器中枢(Sensing Hub)是一个常在线的低功耗AI子系统,相比前代产品,其AI性能提升达到2倍,内存提升50%。
高通传感器中枢集成了1个常感知ISP、2个微NPU、1个DSP和内存,可将敏感数据保留在电脑上,增强安全性、登录体验和隐私,并具有在睡眠模式下唤醒设备的能力。
还有软件的功劳,高通AI软件栈让基于骁龙X Elite开发工作更加快捷轻松。
此外,骁龙X Elite支持5G和Wi-Fi 7快速连接、沉浸式无损音频、更先进的摄像头ISP,并提供智能安全功能,从芯到云保护PC,包括高通安全处理单元运行的微软Pluton解决方案、全内存加密、微软安全核心PC支持、对生物识别信息等敏感信息零信任保护等。
据高通分享,94%的商业领导者表明AI已经提升他们的工作生产力,约50%的IT决策者准备基于AI性能来更换PC品牌。
高通将第三代骁龙8称作是“终端侧智能的集大成者”。该旗舰移动芯片采用4nm工艺,搭载业界最快的设备端内存LPDDR5X(@4.8GHz)、集成AI张量硬件加速器的5G基带芯片骁龙X75、Fast Connect 7800 Wi-Fi/蓝牙芯片。
与前代相比,CPU性能提升30%,能效提升20%。这一提升与核心配置的变化有关,除了最高频率提升外,比上一代多了1个性能核、少了1个能效核。
第三代骁龙8的Kryo CPU基于64位Arm架构,采用“1+5+2”核心配置,包含1个最高频率达3.3GHz的主核Cortex-X4、5个最高频率达3.2GHz的性能核、2个最高频率达2.3GHz的能效核。
对比之下,第二代骁龙8采用的是“1+4+3”核心配置,包含1个最高频率达3.36GHz的Cortex-X3、4个最高频率达2.8GHz的性能核、3个最高频率达2.0GHz的能效核。
不同硬件组合搭配算法,能够支撑音频/语音、语音助手、摄影/视频、生成式AI等不同用例。
高通现场演示了第三代骁龙8在终端侧运行语音订票、语音对话AI虚拟助手、Stable Diffusion文生图等AI功能。
针对生成式AI,第三代骁龙8率先支持多模态通用AI模型,现已支持运行超100亿个参数的大模型,跑大语言模型每秒可生成超过20个Token,用Stable Diffusion模型生成1张图像快到0.6秒。
与前代平台相比,Hexagon NPU的AI性能提升98%、能效提升40%,主要是通过优化主频、提高微Tile推理速度等方式实现。
Hexagon NPU架构如图所示,从左到右依次有一个加速器专用电源轨、升级的微Tile推理、升级的微架构、更高带宽的张量(Tensor)加速单元、更高时钟速度的标量(Scalar)和向量(Vector)处理单元,以及2倍带宽的大共享内存,这些共同支撑起终端侧的大模型推理。
高通传感器中枢集成了2个常感知ISP、2个微NPU、1个DSP和内存,可以安全使用数据,使AI虚拟助手为用户更好的提供更具个性化的响应。相比前代产品,其AI性能提升达到3.5倍,内存提升30%。
相比云端,终端侧在运行大语言模型时能做到立即响应,没有延迟,有助于提高用户体验。
高通AI软件栈为第三代骁龙8和骁龙X Elite全面优化,已发布超过20个模型,并增加对 PyTorch ExecuTorch的支持。
升级的Hexagon NPU除了能跑生成式AI模型外,还能与认知ISP、传感器等搭配,让第三代骁龙8能够支持更好的摄影与影像编辑功能,包括用AI填充背景的照片扩展、视频对象擦除、AI背景生成等。
比如,拍摄时长30秒、60fps帧率的视频,只需轻点一下,虹软视频对象擦除功能就能去除不想要的背景或人物,让视频抠像变得轻而易举。
再比如,高通与Visionary AI合作用AI优化夜景视频拍摄,能在黑暗环境中拍摄出画面清晰的视频。
第三代骁龙8是第一个引入杜比视界HDR拍摄技术的移动平台,能拍摄和现实更丰富的色彩与阴影范围。
去年第二代骁龙8首创的认知ISP图像处理器再度上阵,包含3个18位ISP,做到最多12层的实时图像语义分割。
其通过将画面中的人脸、皮肤、头发、眼睛、建筑、树木等不同对象进行语义分割,然后分别根据每类对象的特性进行调优,从而能实现更有质感的调优效果。认知ISP与Hexagon NPU直连,因此能做到在拍摄过程实时优化,完成Vloggers视图的背景替换也不在话下。
还有Vlogger View功能,可将前置和后置摄像头拍摄的视频图层到一个视图中。它改进的图像分割技术,能从视频中删除背景,让你看起来就像站在你的后置摄像头所拍摄背景的前面。
高通要把摄像头变成强大的手持式图像传感器。在优化拍摄视频景深方面,深度和RGB传感器可以有效的进行深度捕捉,用AI节省95%的功耗;通过搭配iToF传感器能实现1080p30帧深度图。
高通还与三星合作打造专为骁龙优化的拍照体验,使用三星2亿像素图像传感器,三星Zoom Anyplace变焦技术能在不损失图像质量的情况下对移动物体拍摄4倍特写。
此外,高通去年与索尼推出两款新的HDR图像处理器,如今又打造新的DCG HDR图像传感器(Dual Conversion Gain)。首度支持DCG HDR图像传感器的第三代骁龙8,能够拍出更好的照片和进行计算摄影的视频拍摄。
第三代骁龙8支持HDR图像传感器的3个视频拍摄,通过针对性微调,可在任意HDR模式之间进行无缝切换,通过传感器间的背景操作节省60%的能耗。
一些高通合作伙伴正优化传感器来监测各种信息。比如普诺飞思(Prophesee)的事件视觉传感器能让抓拍动态画面时不再拍出糊图,意法半导体更小、更准确的烟雾和空气质量监测装置,2个常感知摄像头支持扫码、人脸识别等。
创迈思(trinamiX)与高通合作推出首款集成在智能手机参考设计中的移动近红外光谱仪,用于分子生物标志物测定,可无创式监测皮肤健康、分析食物营养等。
第三代骁龙8的Adreno GPU性能提升25%,能效提升25%,光追性能提高40%。
该芯片支持全新Snapdragon Elite Gaming特性,是世界上首个支持畅玩240fps游戏的移动平台,通过采用Adreno帧运动引擎2.0(AEME 2.0)的帧生成算法在保持功耗不变的情况下实现帧率翻倍。
它借助骁龙游戏超分技术实现对8K超分辨率的支持,同时也是第一个能够以全交互帧率运行虚幻引擎5 Lumen实时全局照明系统的移动处理器,让手游的光线及照明效果更为栩栩如生。网易武侠手游《逆水寒》将支持这些技术。
高通Snapdragon Sound骁龙畅听技术具有玩游戏声音几乎无延迟、无损和高分辨率音乐流、在复杂通信环境中稳定连接、支持蓝牙经典和LE音频等特点。该技术了通过日本音频协会HiRes Audio Wireless标准的正式认证。
骁龙畅听技术已应用于最新的第三代骁龙8和骁龙X Elite,当与采用第一代高通S7或S7 Pro音频平台的终端配合使用时,用户将享受到更好的音频体验。
高通新推出的第一代S7及S7 Pro音频平台,该平台将DSP性能提升至前代平台第二代S5的3倍,AI性能是前代平台的近100倍,计算性能提升到前代平台的6倍,存储性能提升前代平台的3倍。搭载该音频平台的首批终端明年问世。
其用于音频管理的专用核心包括第四代高通自适应主动降噪(ANC)、听力损失补偿、通透、人声放大、噪声管理等。当耳机松动,或者环境里的噪音突然发生明显的变化,ANC能自动无缝切换降噪模式或通透模式,改善开放式环境的通话效果。
该音频平台内置专用的高通微NPU AI引擎、多个DSP内核和传感器中枢。端侧AI技术与音频技术协同,能以超低功耗在设备端逐步优化声音体验,而且不牺牲续航时间。
第一代S7 Pro(架构图如下)是首款支持高通扩展个人局域网(XPAN)技术和超低功耗Wi-Fi连接的音频平台,支持蓝牙5.4和Auracast广播音频,并能从蓝牙无缝过渡到Wi-Fi,确保连接稳定。
XPAN能实现远超目前仅利用蓝牙所实现的连接距离,与骁龙畅听技术搭配使用,哪怕你的手机距离远到在某栋大楼的另一侧,依然能保持耳机与手机之间不间断的无损音频连接。
该音频平台可通过Wi-Fi提供高达24位192kHz的多通道无损音乐串流,并能够在不增加功耗的情形下通过蓝牙和Wi-Fi提供10小时不受限96kHz无损音乐串流。
比如,当用户正在用耳机连接手机听音乐,这时笔记本电脑突然接入一个视频电话,耳机就能立刻切换到连接电脑,等通话完又自动切换回连接手机,继续听音乐。
高通在今年9月底推出两款全新空间计算平台——第二代骁龙XR2和第一代骁龙AR1,以支持打造新一代混合现实(MR)、虚拟现实(VR)和增强现实(AR)设备。
第一代骁龙AR1已经出货,用在Meta最新智能眼镜产品中。搭载AR1的智能眼镜可用于拍照和拍视频,并有强大AI助手的助力。AI可用于增强感知能力,比如帮助读菜单,或是实时翻译对话。
LG、OPPO、NTT QonoQ Devices、雷鸟创新、夏普都使用了第一代骁龙AR1。高通还与上下游厂商合作打造了基于第一代骁龙AR1的智能眼镜参考平台,会有不同造型设计以供参考。
在空间计算平台中,AI同样是重要基础。高通也在探索智能手机和AR眼镜的结合,在终端侧运行生成式AI应用。下图是高通XR开发者平台Snapdragon spaces的合作伙伴列表。
在今天的骁龙峰会上,荣耀CEO赵明现场分享了与高通的合作成果,并晒出荣耀在折叠屏手机、终端侧运行大模型、跨设备协同等方面的实力。
他首先展示了厚度仅8.6mm、重量仅214g的折叠屏手机Magic V Purse。通过简短手势操作,消费者就可以将这部折叠屏手机当成两个手机用,实现“平行空间”,可以在第一空间、第二空间分别登陆账号,用两个账号玩同一款游戏,乃至通过双屏实现自身跟自己对打。
赵明也谈及终端侧运行大模型的进展,认为这需要做到足够的资源、内存、算力、电池续航、数据隐私保护之间的平衡,并确保AI战略认识到目前的限制并提供具体的解决方案。现场演示了通过自然语言对话在荣耀手机上使用文生视频模型生成一段孩子跳舞、微笑的视频。
赵明宣布,荣耀Magic6将支持终端侧运行拥有70亿参数的大模型。他说这是为数不多的厂商所能做到的能力。
Magic6支持用目光隔空打开邮件,以及跨终端设备(手机、笔记本电脑、平板电脑等)、跨操作系统(Windows、安卓等)的无缝连接。例如,笔记本电脑可以直接调取手机相册里的图片,手机摄像头可以变成笔记本电脑内置能力的一部分,安卓游戏可以直接从电子设备屏幕挪到笔记本电脑屏幕上接着玩,用同一组键盘和鼠标可以交互操控不同设备。
赵明还宣布,荣耀将加入骁龙X Elite大家庭,设计基于Arm的PC,明年推出有关产品,交付优质的用户体验。
在两天的骁龙峰会主题演讲中,AI技术成为高通所有最新芯片产品线的主角。正如高通总裁兼CEO安蒙所言,进入AI时代,终端侧生成式AI对于打造强大、快速、个性化、高效、安全和高度优化的体验至关重要。
端侧生成式AI革命的序幕才刚刚拉开,而高通骁龙正冲在前排。随着搭载第三代骁龙8、骁龙X Elite的手机和PC进入千家万户,更丰富的生成式AI用例向边缘侧和终端侧迁移将是大势所趋。