检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"application/json" } } ] 将模型部署为在线服务 参考部署为在线服务将模型部署为在线服务。 在线服务创建成功后，您可以在服务详情页查看服务详情。 您可以通过“预测”页签访问在线服务。 图5 访问在线服务 父主题： Standard推理部署
型。 scope Array of strings 资源池支持的作业类型。至少选择一种，物理资源池支持全部选择。可选值如下： Train：训练作业 Infer：推理作业 Notebook：Notebook作业 resources Array of resources objects
将模型部署为实时推理作业 实时推理的部署及使用流程 部署模型为在线服务 访问在线服务支持的认证方式 访问在线服务支持的访问通道 访问在线服务支持的传输协议 父主题： 使用ModelArts Standard部署模型并推理预测
单击新建的模型名称左侧的小三角形，展开模型的版本列表。在操作列单击“部署 > 在线服务”，跳转至在线服务的部署页面。 在部署页面，参考如下说明填写关键参数。 “名称”：按照界面提示规则自定义一个在线服务的名称，也可以使用默认值。 “资源池”：选择“公共资源池”。 “模型来源”和
"application/json" } } ] 将模型部署为在线服务 参考部署为在线服务将模型部署为在线服务。 在线服务创建成功后，您可以在服务详情页查看服务详情。 您可以通过“预测”页签访问在线服务。 父主题： 制作自定义镜像用于推理
UTC'的毫秒数。 description String 模型描述信息。 source_type String 模型来源的类型，仅当模型为自动学习部署过来时有值，取值为auto。 父主题： 模型管理
动态挂载适用于哪些使用场景 场景1：数据集预览和操作，将承载数据集的OBS挂载至Notebook中，可以像本地文件系统一样操作数据集。 场景2：在Notebook中训练时，可直接使用挂载至Notebook容器中的数据集。 动态挂载OBS并行文件系统有什么限制 OBS提供两种桶，对象存储（对象桶）和并行文件系统PFS。
存需求增多。 处理方法 在部署或升级在线服务时，选择更大内存规格的计算节点。 图3 选择计算节点规格 运行中服务出现告警时，需要分析是您的代码是否出现漏洞导致内存溢出、是否因为业务使用量太大需要更多的内存。如果因业务原因需要更多内存，请升级在线服务选择更大内存规格的计算节点。 父主题：
系统自动创建委托名称，用户可以手动修改。 “新增委托 > 权限配置 > 普通用户” 普通用户包括用户使用ModelArts完成AI开发的所有必要功能权限，如数据的访问、训练任务的创建和管理等。一般用户选择此项即可。 可以单击“查看权限列表”，查看普通用户权限。 “新增委托 > 权限配置 > 自定义” 如用户有
“关联sfsturbo”用于将此网络与某个选定的SFS Turbo资源做关联操作，关联完成后，表示SFS Turbo与网络已进行打通，可在训练和开发环境等功能时使用此SFS Turbo。 关联与解除关联操作需要用户委托授权ModelArts云服务操作SFS Turbo的部分权限。
选择多个规格的CPU架构必须相同。例如都是X86，或者都是ARM。 如果选择了多个GPU或NPU规格，由于不同规格的参数网络平面不互通，分布式训练时训练速度会受到影响。如果您要做分布式训练，建议您只选择一个GPU或NPU规格。 一个资源池中，最多可添加10种规格。 资源调度与切分 自定义驱动 默认关闭。部
模型的端口没有配置，如您在自定义镜像配置文件中修改了端口号，需要在部署模型时，配置对应的端口号，使新的模型重新部署服务。 如何修改默认端口号，请参考使用自定义镜像创建在线服务，如何修改默认端口。 父主题： 服务部署
使用大模型在ModelArts Standard创建模型部署在线服务 第三方推理框架迁移到ModelArts Standard推理自定义引擎 ModelArts Standard推理服务支持VPC直连的高速访问通道配置 ModelArts Standard的WebSocket在线服务全流程开发 从0-1制作自定义镜像并创建模型
参数枚举值列表，只有当参数类型为PlaceholderType.ENUM时才需要填写。 否 list constraint 参数相关的约束配置，当前该字段仅支持训练规格的约束，且用户不感知。 否 dict required 参数是否必填标记。 默认required=True。 Delay参数不能设required=False。
型。 scope Array of strings 资源池支持的作业类型。至少选择一种，物理资源池支持全部选择。可选值如下： Train：训练作业 Infer：推理作业 Notebook：Notebook作业 resources Array of resources objects
String 镜像支持服务类型。枚举值如下： COMMON：通用镜像。 INFERENCE: 建议仅在推理部署场景使用。 TRAIN: 建议仅在训练任务场景使用。 DEV: 建议仅在开发调测场景使用。 UNKNOWN: 未明确设置的镜像支持的服务类型。 size Long 镜像大小（单位KB）。
Integer 从父样本生成的子样本总数。 train_evaluate_sample_ratio String 发布版本时切分训练验证比例，默认为1.00，即全部分为训练集。 update_time Long 版本更新时间。 version_format String 数据集版本格式。可选值如下：
型。 scope Array of strings 资源池支持的作业类型。至少选择一种，物理资源池支持全部选择。可选值如下： Train：训练作业 Infer：推理作业 Notebook：Notebook作业 resources Array of resources objects
系统将根据您的模型匹配提供可用的计算资源。请在下拉框中选择可用资源，如果资源标识为售罄，表示暂无此资源。 例如，模型来源于自动学习项目，则计算资源将自动关联自动学习规格供使用。 “实例数” 设置当前版本模型的实例个数。如果节点个数设置为1，表示后台的计算模式是单机模式；如果节点个数设置
String 镜像支持服务类型。枚举值如下： COMMON：通用镜像。 INFERENCE: 建议仅在推理部署场景使用。 TRAIN: 建议仅在训练任务场景使用。 DEV: 建议仅在开发调测场景使用。 UNKNOWN: 未明确设置的镜像支持的服务类型。 size Long 镜像大小（单位KB）。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
