群体智能时代来了？RockAI实现中低端设备部署端侧大模型

直播吧9月15日讯在德甲第3轮比赛中，拜仁客场6-1击败荷尔斯泰因基尔，《图片报》为两队教练和球员评分，凯恩、穆西亚拉1分最高。荷尔斯泰因基尔vs拜仁《图片报》评分荷尔斯泰因基尔门将：魏纳（3）后卫：贝克尔（5）、卡尔-约翰松（6）、埃拉斯（6）、雅沃切克（6）中场：波拉特（6）、伦伯格（6）、克努德森（6）、霍尔特比（6）、町野修斗（6）前锋：皮希勒（5）替补：格施维尔（4）、普沙茨（4）、阿尔普（4）主帅：布雷姆瑟（5）拜仁门将：诺伊尔（3）后卫：格雷罗（3）、金玟哉（2）、于帕梅卡诺（2）、博伊（3）中场：帕利尼亚（2）、基米希（2）、科曼（3）、穆西亚拉（1）、格纳布里（2）前锋：凯恩（1）替补：奥利斯（2）、穆勒（2）、莱默尔（3）、戴维斯（2）主帅：孔帕尼（2）

IT时报记者 孙妍

2024年被称为端侧大模型元年，但是端侧大模型被体验、功耗、存储这个不可能三角制约了落地进展。

9月26日，RockAI发布Yan1.3大模型，实现了大模型在无人机、机器人、PC、手机等各类终端设备上的离线无损部署，在普通电脑CPU上也能流畅运行，证明了其在中低端设备上的运行能力。

“在AGI这个终极命题下，无论是云端还是端侧，都只是实现智能普惠及跃迁的一个载体。只有真正提升每一台设备的自我学习能力，才能激发更高级别智能形态即群体智能的涌现。”RockAI CEO刘凡平表示。

低空经济，是当前最火红的赛道之一。当前市面上大多数无人机的控制中心都部署在云端，对于收集到的数据往往需要传回云端处理判定再发回设备端执行，智能水平和反应速度将无法满足智慧城市建设等日益增长的需求。

为了应对以上难题，RockAI选择将大模型直接部署在无人机上。一台部署了Yan1.3大模型的“飞龙”无人机出现在RockAI开放日上，它的特长是可以自行对突发状况能做出即时判断和处理，无需传回云端， 了5G-A流量成本高的痛点，大大提升无人机在复杂环境中的自动化水平和快速反应能力。

在实际应用方面，部署了Yan1.3的飞龙无人机，可 感知复杂环境并在设备端实时处理，支持各类环境下的智能巡检，不仅 适配电力巡检、安全监控、环境监测等城市治理及工业场景。个人用户可以将该无人机用于AI拍摄、外出旅游、山地越野等场景，勘探环境、规划行程的还能够解放双手，自动捕捉最佳角度并挑选出最佳照片。

七步成诗、打一套咏春拳法……在2024世界人工智能大会上，植入Yan大模型的“胖虎”智能机器人成为展会红人。基于Yan1.3的多模态处理能力，“胖虎”能在离线状态下识别复杂环境、准确理解用户意图，并据此控制其机械躯体 完成各类复杂任务，这给具身智能的发展提供了更低成本的落地路径。

离线使用大模型，不但可以节省回传的流量成本，还能有效保护用户隐私。比如内嵌在PC端的迅兔智能，可以在离线模式下听懂“人话”、看懂图片并快速搜图，精准完成“帮我录音并整理会议记录”、“把所有橘猫图片都删掉”等模糊指令。

刘凡 复强调，希望让世界上每一台机器都能拥有自己的智能，从而激发群体智能。

何谓“群体智能”？群体智能主要指通过多个个体的协作和交互，形成的集体智慧和决策能力。无数智能个体通过协作和交流，可以创造出超越个体的能力，推动自然社会的进步，其多样性、适应性和创造力，是任何单一的大模型都无法完全实现的。

而当下大部分Tran ormer主流大模型受限于资源及算力，只能通过压缩、蒸馏、裁剪等“性能 ”的方式在端侧运行，无法根据环境的变化进行自主学习，实现推理和训练的同步进行。

今年1月，RockAI在国内率先发布非Attention机制的Yan架构，大大降低了模型的算力需求，并成功实现Yan1.0模型“0压缩0裁剪”的离线部署，迈出了走向群体智能的 步。

Attention机制是Tran ormer架构的核心，通过算力的不断堆叠来完成性能突破，所以对算力的要求会越来越高。于是，RockAI选择走非Tran ormer这条艰难而小众的路。“1月发布会后我们受到了很多同行的质疑，质疑我们是不是选错了路径。”刘凡平在采访中说道。

经过对不同硬件的研究和大量调试，目前RockAI已经适配了英伟达、高通、联发科、英特尔、瑞芯微等 ，商业化进程也在不断加速。随着自主学习机制进入实验室 阶段，RockAI也与芯片厂商及终端厂商达成初步合作意向，突破硬件限制。

抢占五环外的用户，大模型界的拼多多……RockAI一开始选择在算力极低的树莓派上部署Yan模型，就是为了探索模型的下限，证明其在中低端设备上的运行能力，但在刘凡平看来，Yan模型不只为低算力设备赋能，而是为了实现大模型在更广范围的落地和普惠