【千问百科解读】

7月26日，数澈软件Seal(以下简称“Seal”)宣布正式发布并开源最新产品 GPUStack，GPUStack 是一个用于运行 LLM（大型语言模型）的开源 GPU 集群管理器。

尽管如今大语言模型作为公共的云上服务已经被广泛推广并在公有云上变得更加易于使用，但对企业来说，部署托管自己私有的 LLM 供企业和组织在私有环境使用仍然非常复杂。

企业需要安装和管理复杂的集群软件，如 Kubernetes，然后还需要研究清楚如何在上层安装和管理 AI 相关的工具栈。

而目前流行的能在本地环境运行 LLM 的方法，如 LMStudio 和 LocalAI，却大都只支持在单台机器上运行，而没有提供多节点复杂集群环境的支持能力。

Seal 联合创始人及 CTO 梁胜博士介绍道，“GPUStack 支持基于任何品牌的异构 GPU 构建统一管理的算力集群，无论目标 GPU 运行在 Apple Mac、Windows PC 还是 Linux 服务器上， GPUStack 都能统一纳管并形成统一算力集群。

GPUStack 管理员可以从诸如 Hugging Face 等流行的大语言模型仓库中轻松部署任意 LLM。

进而，开发人员则可以像访问 OpenAI 或 Microsoft Azure 等供应商提供的公有 LLM 服务的 API 一样，非常简便地调用 OpenAI 兼容的 API 访问部署就绪的私有 LLM。

”

帮助企业简单快速地开启 LLM 创新

当前，企业如果想要在 GPU 集群上托管大模型，必须要做大量的工作来集成复杂的技术栈。

通过使用 GPUStack，企业不再需要担心如何管理 GPU 集群、推理引擎和推理加速、租户和配额管理、使用和计量、性能度量、统一认证授权和访问控制，以及仪表板。

如下图所示，GPUStack 是一个构建企业私有的大模型即服务（LLMaaS）的完整平台，拥有构建大模型即服务所需的各项功能。

管理员可以将模型从 Hugging Face 等模型仓库部署到 GPUStack 中，然后开发人员可以连接到 GPUStack 提供的私有大模型 API，在他们的应用中集成和使用私有大模型服务。

“随着大语言模型能力的逐渐提高，企业和组织一方面对快速进入 AI 时代充满了信心并满怀期待，希望大语言模型能尽快为自己的企业和组织带来生产效能的提高，而另一方面，对于能否有效地把如火如荼的大语言模型技术进一步与实际业务进行有机结合，是否能因此产生相应的效益，企业及团队又同时充满了疑问。

我们希望通过简单易用的 GPUStack 平台，部署和运行各种开源大语言模型，提供 OpenAI 兼容的 API 接口，使得开发人员简单方便地访问任何的 LLM。

” Seal 联合创始人及 CEO 秦小康介绍道，“最重要的是，我们支持 Nvidia，Intel，AMD 及众多品牌的 GPU，在支持异构 GPU 集群的同时能为企业节省更多成本。

帮助企业简单快速地开启 LLM 创新是 GPUStack 团队的初心和使命。

”

整合GPU资源运行大模型

组建 GPU 集群整合资源

GPUStack 可以聚合集群内的所有 GPU 资源。

它旨在支持所有的 GPU 厂商，包括英伟达，苹果，AMD，英特尔，高通，华为等。

GPUStack 兼容运行 MacOS、Windows 和 Linux 操作系统的笔记本电脑、台式机、工作站和服务器。

模型部署和推理

GPUStack 为在不同 GPU 上部署不同大模型选择最佳的推理引擎，支持的首个推理引擎是 LLaMA.cpp，其他推理引擎（如vLLM）的支持也在路线图中。

在资源充足的情况下，GPUStack 默认将模型全部卸载到 GPU，以实现最佳性能的推理加速。

如果 GPU 资源相对不足，GPUStack 会同时使用 GPU 和 CPU 进行混合推理，以最大限度地利用资源。

而在没有 GPU 资源的场景下，GPUStack 也支持纯 CPU 推理。

这样的设计使 GPUStack 能够更广泛地适配各种边缘或资源有限的环境。

快速与现有应用集成

GPUStack 提供了与 OpenAI 兼容的 API，并提供了大模型试验场。

开发人员可以调试大模型并将其快速集成到自己的应用中。

此外，开发人员还可以通过观测指标来了解应用对各种大模型的使用情况。

这也有助于管理员有效地管理 GPU 资源利用。

GPU 和 LLM 的观测指标

GPUStack 提供全面的性能、利用率和状态监控指标。

对于 GPU，管理员可以使用 GPUStack 实时监控资源利用率和系统状态。

对于 LLM，相关指标则可以帮助开发人员评估模型的性能并优化应用。

认证和访问控制

GPUStack 为企业提供身份验证和RBAC（Role-based Access Control）功能。

这保证了只有授权的管理员可以部署和管理大模型，只有授权的开发人员可以使用大模型，应用也可以通过统一的 API 认证授权访问各种大模型。

加入社区，参与开源共创

GPUStack 项目正在快速迭代，计划引入对多模态模型的支持，更多的 GPU 厂商支持，以及更多的推理引擎支持。

我们十分欢迎您一起参与开源项目的贡献，也欢迎在我们的 GitHub 仓库 gpustack/gpustack 上点亮 Star 关注我们的最新动态。

举报 0 收藏 0 打赏 0评论 0分享 6

 

 

更多>同类资讯

多机构发布智能锁2024半年报: 德施曼稳坐线上全渠道销额冠军,持续领跑中高端市场

近日,权威机构奥维云网、洛图科技先后发布智能门锁2024半年报,报告均指出上半年中国智能门锁线上渠道持续增长。

奥维云网数据显示,2024上半年线上渠道销量同比增长22.7%,成行业增长最快的部分;洛图科技强调,行业正逐渐从传统电商向新兴电商拓展,上半年新兴电商占全渠道约

07-29

2024 ChinaJoy骁龙主题馆盛大开启，高通带你玩转科技潮流娱乐盛宴

7月26日，2024中国国际数码互动娱乐展览会(ChinaJoy)在上海新国际博览中心正式拉开帷幕，高通公司第五次携手运营商、手机及笔记本厂商、顶尖游戏工作室、电商、汽车厂商等数十家行业重量级合作伙伴，以移动技术创新作为驱动引擎，为广大玩家和粉丝打造一个前沿技术赋能

07-29

信创实力屡获机构认可 万兴科技入选“2024信创500强”榜单

7月24日,DBC德本咨询重磅发布《2024信创500强》榜单,AIGC软件A股上市公司万兴科技(300624.SZ)作为中国信创领域代表厂商入选,排名第73位。

华为、阿里云、腾讯云、科大讯飞等企业一同入选。

当前,信创产业驶入“深水区”,机遇与挑战并存,国央企对信创产品的采购进入常态化

07-29

这个夏天不留遗憾 用EOS R7青春专微留下最美的人像照

夏日是一年中最绚烂多彩的季节，阳光明媚，也是户外人像摄影的黄金时期。

随着夏日的热情悄然绽放，每一刻都闪耀着不同的光彩，那些笑颜如花、光影交错的瞬间，值得被最细腻的方式镌刻。

在这个充满活力的季节里，如何利用自然光、色彩以及场景，拍摄出既清新又富有情感的

07-28

“北京中轴线”申遗成功 京东服饰携手北京时装周点亮“时尚中轴”

7月27日，联合国教科文组织第46届世界遗产大会通过决议，将“北京中轴线——中国理想都城秩序的杰作”列入《世界遗产名录》。

作为活态的文化遗产，北京中轴线连接宏伟庄严的国家礼仪场所和繁华热闹的市井街市，并形成了前后起伏、左右均衡对称的景观韵律与壮美秩序，在

07-28

鹰眼相机记录奥运会精彩瞬间 京东3C数码观赛装备至高补贴2000元

四年一届的奥运会已在法国巴黎拉开帷幕。

北京时间7月27日，在全世界观众的见证下，中国队首金在十米气步枪混合团体赛中诞生，第2金在跳水项目中产生。

为了让更多中国消费者可以借助3C数码装备见证中国体育健儿的精彩表现，京东开启3C数码运动季，带来专业运动相机、手机

07-27

中国国家射击队旗开得胜！联想YOGA好礼同庆

万众期待中，四年一届的国际体育盛会顺利举行，中国国家射击队旗开得胜，以卓越的表现为中国队赢下了首枚金牌!作为中国国家射击队AI PC合作伙伴，联想YOGA发起体育季专属福利，让用户共同感受顶级赛事带来的激情与喜悦：联想门店购买联想AI PC即可获得多重丰厚好礼;线上

07-27

ChinaJoy2024第二日持续火热 ROG展台好玩+好礼福利送不停

ChinaJoy2024第二日，活动现场持续火爆，ROG展区亦人气十足。

在会场E4-04展区，ROG游戏手机8系列及ROG电竞生态产品继续亮相，信仰玩家们可上手试玩体验，还有可集章打卡参与抽取周边活动，更有机会赢取ROG游戏手机8等惊喜大礼。

好玩加好礼，第二日活动ROG展区潮玩好物与

07-27

满配折叠，旗舰影像！Xiaomi MIX Fold 4搭载辰瑞光学1G6P玻塑混合镜头

历经三代技术积累，影像领域持续突破。

7月19日，小米新品发布会带来小米手机有史以来最先进的、最精密的、最轻薄的满配大折旗舰——Xiaomi MIX Fold 4。

影像方面，Xiaomi MIX Fold 4后置搭载「徕卡光学全焦段四摄」方案，主摄采用来自瑞声科技旗下辰瑞光学的1G6P WLG玻

07-26

写报告 进图谱 做演讲，可信数据库大会上亚信科技AntDB可太忙了

近日，由中国通信标准化协会、大数据技术标准推进委员会主办的2024可信数据库发展大会在京举办。

会议期间，“亚信科技元素”频繁呈现，写报告、进图普、做演讲，彰显了亚信科技在人工智能浪潮和数据要素背景下，对我国数据库产业高质量发展做出的贡献。

参编报告 明确行

07-26

七彩虹与NVIDIA携手火星时代教育打造RTX AI创作加速体验区

2007年CUDA技术的诞生，图形渲染与通用计算实现了统一，到2018年，RTX GPU的问世，首次推出了神经网络渲染的AI硬件加速。

2023年，随着生成式AI技术的广泛应用，AIPC时代也正式拉开帷幕。

而在科技与教育的交汇处，一场关于AI的教育革新也正徐徐展开。

2024年7月24日，由火

07-26

2024年巴黎奥运会投影仪推荐！当贝X5S让你拥有最震撼的现场体验

时光飞逝，四年一届的顶级体育盛事奥运会又如期而至。

2024年巴黎奥运会将于当地时间2024年7月26日正式开幕，而一些项目甚至从今天24日起已经率先开始比赛角逐。

今年奥运会虽然首次登陆国内大银幕，但夏天出门还是深夜时间都不算方便。

好在家庭影院随着投影仪的普及，也

07-26

适合看巴黎奥运会的投影仪推荐：全玻璃镜头的当贝F6久看不虚焦！

四年一度的奥运盛事即将拉开帷幕，在这为期半个月的时间里，将有32个大项、329个小项相继上演，看点颇多。

为了能更好的观看比赛，越来越多人选择用投影仪大屏看，沉浸式的效果，让你不去巴黎在家也能体验浓浓的奥运氛围。

那么，大屏如何看2024年巴黎奥运会赛事直播呢?这

07-26

移动的工作站：猛玛通话传声1000漫游版

剧组通话是一个看起来不起眼，但对于各个部门来说至关重要的流程。

不论是专业影视拍摄，还是TVC大片拍摄，但凡是拍摄活动，都能看到它的身影。

这一幕后生产能力的表现不直接，却很核心。

当我们实地了解剧组时，发现“剧组通话”其实很简单，靠头戴式耳机和主站的无线互

07-26

国际隐私专业协会IAPP正式推出中国信息隐私注册专家（CIPP/CN）专业认证

7月17日，全球知名信息隐私治理机构国际隐私专业协会(IAPP)正式推出中国信息隐私注册专家(CIPP/CN)认证，作为IAPP在中国独家授权的战略合作伙伴BSI英国标准协会，现正式推出此项培训，帮助隐私安全专业人士获取相关资质认证。

为什么要参加中国个人信息保护培训该课程培

声明：本文内容仅代表作者个人观点，与本站立场无关。

如有内容侵犯您的合法权益，请及时与我们联系，我们将第一时间安排处理，本页面内容仅为信息发布，不作为任何招生依据，亦不构成任何报考建议。

如果您需要报名，请直接与学校联系，谨防受骗。