检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
调用MaaS部署的模型服务 在ModelArts Studio大模型即服务平台部署成功的模型服务支持在其他业务环境中调用。 约束限制 只有“状态”是“运行中”的模型服务才支持被调用。 步骤1：获取API Key 在调用MaaS部署的模型服务时，需要填写API Key用于接口的鉴权认证。
使用SSH功能 ECS ecs:serverKeypairs:list ecs:serverKeypairs:get ecs:serverKeypairs:delete ecs:serverKeypairs:create 为开发环境Notebook实例配置登录密钥。 DEW
部署预测分析服务 模型部署 模型部署操作即将模型部署为在线服务，并且提供在线的测试UI与监控能力。完成模型训练后，可选择准确率理想且训练状态为“运行成功”的版本部署上线。具体操作步骤如下。 在“运行节点”页面中，待训练状态变为“等待输入”，双击“服务部署”节点，完成相关参数配置。
elArts的模型。 将模型部署为在线服务：将导入的模型部署上线。 本地构建镜像 以linux x86_x64架构的主机为例，您可以购买相同规格的ECS或者应用本地已有的主机进行自定义镜像的制作。 购买ECS服务器的具体操作请参考购买并登录弹性云服务器。镜像选择公共镜像，推荐使用ubuntu18
ECS中构建新镜像（可选） 通过ECS获取和上传基础镜像获取基础镜像后，可通过ECS运行Dockerfile文件，在镜像的基础上构建新镜像。 Step1 构建新ModelArts Standard训练镜像 获取模型软件包，并上传到ECS的目录下（可自定义路径），获取地址参考表1。
在ModelArts的Notebook中如何设置VS Code远端默认安装的插件？ 在VS Code的配置文件settings.json中添加remote.SSH.defaultExtensions参数，如自动安装Python和Maven插件，可配置如下。 "remote.SSH.defaultExtensions":
arch String 服务器镜像架构类型。 ARM X86 image_id String 服务器镜像ID。 name String 服务器镜像名称。 server_type String 服务器类型。枚举值如下： BMS：裸金属服务器 ECS：弹性云服务器 表9 ServerHpsInfo
arch String 服务器镜像架构类型。 ARM X86 image_id String 服务器镜像ID。 name String 服务器镜像名称。 server_type String 服务器类型。枚举值如下： BMS：裸金属服务器 ECS：弹性云服务器 表9 ServerHpsInfo
部署图像分类服务 模型部署 模型部署操作即将模型部署为在线服务，并且提供在线的测试UI与监控能力。完成模型训练后，可选择准确率理想且训练状态为“运行成功”的版本部署上线。具体操作步骤如下。 在“运行节点”页面中，待服务部署节点的状态变为“等待输入”时，双击“服务部署”进入配置详情页，完成资源的参数配置操作。
如果想保持长时间连接不断开，可以通过配置SSH定期发送通信消息，避免防火墙认为链路空闲而关闭。 客户端配置（用户可根据需要自行配置，不配置默认是不给服务端发心跳包），如图1，图2所示。 图1 打开VS Code ssh config配置文件 图2 增加配置信息 配置信息示例如下： Host ModelArts-xx
虚拟私有云可以为您构建隔离的、用户自主配置和管理的虚拟网络环境，操作指导请参考创建虚拟私有云和子网。 购买弹性云服务器ECS 如果您需要在服务器上部署相关业务，较之物理服务器，弹性云服务器的创建成本较低，并且可以在几分钟之内快速获得基于云服务平台的弹性云服务器设施，并且这些基础设施是弹性的
Standard推理部署 ModelArts Standard推理服务访问公网方案 端到端运维ModelArts Standard推理服务方案 使用自定义引擎在ModelArts Standard创建模型 使用大模型在ModelArts Standard创建模型部署在线服务 第三方推理框架迁移到ModelArts
需的规格和进行权限配置。随后，在ModelArts控制台上购买Lite Cluster资源。请参考Lite Cluster资源开通。 资源配置：完成资源购买后，需要对网络、存储、驱动进行相关配置。请参考Lite Cluster资源配置。 资源使用：完成资源配置后，您可以使用集群资
Administrator 裸金属服务器BMS BMS FullAccess 镜像服务IMS IMS FullAccess 数据加密服务DEW DEW KeypairReadOnlyAccess 虚拟私有云VPC VPC FullAccess 弹性云服务器ECS ECS FullAccess
已在ModelArts中创建模型。 创建新版本 在“模型”页面，单击操作列的“创建新版本”进入“创建新版本”页面，参数配置除版本外，将默认选择上一个版本的配置信息，您可以对参数配置进行修改，参数说明请参见创建模型。单击“立即创建”，完成新版本的创建操作。 删除版本 在“模型管理”页面，单击
Schedule objects 服务调度配置，仅在线服务可配置，默认不使用，服务长期运行。 cluster_id 否 String 可选，部署服务时使用的资源池ID。对于rel-time和batch服务类型，为旧版专属资源池ID，配置此参数后，则使用集群的网络配置，vpc_id参数不生效，使
以上参数为开启NPU FlashAttention融合算子，上述参数值仅供参考，请根据自己实际要求合理配置其他加速框架或ZeRO (Zero Redundancy Optimizer)优化器、NPU节点数及其他配置。 具体优化工具使用说明可参考如何选择最佳性能的zero-stage和-offloads。
以上参数为开启NPU FlashAttention融合算子，上述参数值仅供参考，请根据自己实际要求合理配置其他加速框架或ZeRO (Zero Redundancy Optimizer)优化器、NPU节点数及其他配置。 具体优化工具使用说明可参考如何选择最佳性能的zero-stage和-offloads。
以上参数为未开启NPU FlashAttention融合算子，上述参数值仅供参考，请根据自己实际要求合理配置其他加速框架或ZeRO (Zero Redundancy Optimizer)优化器、NPU节点数及其他配置。 具体优化工具使用说明可参考如何选择最佳性能的zero-stage和-offloads。
以上参数为开启NPU FlashAttention融合算子，上述参数值仅供参考，请根据自己实际要求合理配置其他加速框架或ZeRO (Zero Redundancy Optimizer)优化器、NPU节点数及其他配置。 具体优化工具使用说明可参考如何选择最佳性能的zero-stage和-offloads。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
