关于人工智能给数据中心电力带来的问题，已经有很多报道。缓解压力的一种方法是使用“边缘LLM”，这使得人工智能系统能够在pc、平板电脑、笔记本电脑和智能手机上本地运行。

　　边缘LLM的明显优势包括降低LLM培训成本、减少查询LLM的延迟、增强用户隐私并提高可靠性。

　　如果能够通过降低处理能力需求来减轻数据中心的压力，那么边缘的llm就有可能消除对千兆瓦级人工智能数据中心工厂的需求。但这种方法真的可行吗？

　　随着有关将支撑生成式人工智能的LLM转移到边缘的讨论越来越多，我们仔细研究了这种转变是否能够真正减轻数据中心的压力。

　　智能手机引领边缘人工智能

　　发展最快的边缘AI用例是智能手机上的轻量级LLM。华为已开发了不同大小的LLMPangu5.0，最小版本已与其智能手机操作系统HarmonyOS集成。运行该操作系统的设备包括华为Mate30Pro5G。

　　与此同时，三星开发了GaussLLM，用于三星GalaxyAI，该技术在其旗舰智能手机三星S24中运行。其AI功能包括实时翻译、语音转文本和总结笔记、圆圈搜索以及照片和消息辅助。

　　三星电子的LPDDR5XDRAM半导体也进入了量产阶段。这些12纳米芯片直接在设备上处理内存工作负载，使手机的操作系统能够更快地与存储设备一起工作，从而更有效地处理人工智能工作负载。

　　总体而言，智能手机制造商正在努力缩小LLM的大小。他们正试图将其参数数量从ChatGPT-3的1750亿个减少到20亿个左右。

　　英特尔和AMD也参与了边缘AI的开发。AMD正在开发能够快速本地运行300亿参数LLM的笔记本电脑芯片。同样，英特尔也组建了一个合作伙伴生态系统，正在努力开发AIPC。这些支持AI的设备可能比普通型号更贵。但加价可能不会像预期的那么高，而且随着采用率的提高，加价可能会大幅下降。

　　边缘AI的昂贵部分主要在于训练。在推理模式下使用的训练模型不需要昂贵的设备来运行。早期的部署可能是针对错误和“幻觉”不太重要且声誉受损风险不太可能太大的场景。

　　示例包括增强型推荐引擎、人工智能驱动的互联网搜索以及创建插图或设计。在这里，依靠用户来检测可疑的响应或表现不佳的图像和设计。

　　数据中心对LLM的影响

　　随着数据中心准备大幅增加密度和功率需求以支持人工智能的发展，边缘趋势的LLM对数字基础设施意味着什么？

　　在可预见的未来，在边缘运行的模型将继续在数据中心进行训练。因此，目前来自人工智能的大量流量在短期内不太可能减弱。但数据中心内训练的模型已经在发生变化。来自OpenAI、谷歌和亚马逊等企业的大规模模型将继续存在。但规模较小、更专注的LLM正在崛起。

　　到2027年，企业使用的GenAI模型中将有超过50%专门针对某个行业或业务功能，而2023年这一比例约为1%。领域模型可以更小、计算强度更低，并降低与通用模型相关的幻觉风险。

　　为减少GenAI的大小和处理强度而开展的开发工作，将延伸到可在各种设备上运行的更高效的边缘LLM。一旦边缘LLM获得发展势头，它们有望减少需要在集中式数据中心进行的AI处理量，这完全取决于规模。

　　目前，LLM训练在很大程度上主导了GenAI，因为模型仍在创建或完善中。但想象一下，数亿用户在智能手机和PC上本地使用LLM，查询必须通过大型数据中心进行处理。从规模上讲，这种流量可能会让数据中心不堪重负。因此，LLM在边缘的价值可能要等到它们进入主流后才能实现。

　　LLM：安全与隐私

　　任何与云端的LLM进行交互的人，都有可能使组织面临隐私问题和网络安全漏洞的可能性。

　　随着越来越多的查询和提示在企业外部进行，人们开始质疑谁有权访问这些数据。毕竟，用户正在向人工智能系统询问有关他们的健康、财务和业务的各种问题。

　　为此，这些用户经常输入个人身份信息(PII)、敏感医疗保健数据、客户信息甚至企业机密。

　　转向规模较小的LLM，这些LLM可以包含在企业数据中心内（因此不在云中运行），也可以在本地设备上运行，这是绕过广泛使用LLM（如ChatGPT）所带来的许多持续安全和隐私问题的一种方式。

　　如果使用人工智能作为个人助理，并且要处理机密信息、你不想公开的敏感信息，那么边缘的安全和隐私确实非常重要。

　　边缘LLM发展趋势

　　边缘上的LLM不会立即显现出来——除了少数特殊用例。但边缘趋势似乎势不可挡。67%的组织基础设施硬件决策者已经采用边缘智能或正在采用。约三分之一的企业还将收集和执行边缘环境的AI分析，以便为员工提供更高、更快的价值洞察。

　　企业希望从移动设备、物联网和其他设备收集相关输入，以便在客户提出要求或需要更大价值时为他们提供相关的用例驱动的洞察。

　　公用事业、采矿和交通维护等行业的现场工程和运营已经面向个人设备，并已准备好进行LLM增强。由于此类边缘LLM应用具有商业价值，因此预计为具有LLM功能的现场设备或手机支付更多费用将不再是问题。

　　随着采用率的提高，硬件价格下降后，边缘LLM才能被消费者和企业广泛使用。例如，AppleVisionPro主要部署在价格合理的商业解决方案中。

　　近期的其他用例包括电信和网络管理、智能建筑和工厂自动化。Goetz表示，边缘LLM的更高级用例（例如沉浸式零售和自动驾驶汽车）将不得不等待五年或更长时间。

　　在我们看到个人设备上的LLM蓬勃发展之前，针对特定行业和业务流程的专业LLM将会出现增长。一旦这些开发出来，就更容易扩展和采用，因为不需要同时训练和调整模型、缩小模型和部署模型。