检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
部署在线服务时,您可以增加“计算节点个数”。 如果节点个数设置为1,表示后台的计算模式是单机模式;如果节点个数设置大于1,表示后台的计算模式为分布式的。您可以根据实际需求进行选择。 推理速度与模型复杂度强相关,您可以尝试优化模型提高预测速度。 ModelArts中提供了模型版本管理的功能,方便溯源和模型反复调优。 图1
卡和单机多卡训练)。 训练完成后给出自动式生成内容,和交互式对话框模式。 背景信息 Megatron-DeepSpeed Megatron-DeepSpeed是一个基于PyTorch的深度学习模型训练框架。它结合了两个强大的工具:Megatron-LM和DeepSpeed,可在具
AI专属集群的参数说明 参数名称 子参数 说明 计费模式 - 计费模式可以选择“包年/包月”或“按需计费”。 包年/包月是预付费模式,按订单的购买周期计费,适用于可预估资源使用周期的场景,价格比按需计费模式更优惠。 按需计费是后付费模式,按云服务器的实际使用时长计费,可以随时开通/删除云服务器。
dest_path String 训练作业的本地路径。 read_only Boolean dest_path 是否为只读权限,默认为读写权限。 true:只读权限 false:默认值,读写权限 表7 host_path属性列表 参数 参数类型 说明 src_path String
撤销审批:单击用户操作列的“撤销”可以取消已审批通过或已拒绝的用户权限,用户的“审批状态”从“已审批”变成“未审批”,或者从“已拒绝”变成“未审批”。 同意用户使用该资产:单击用户操作列的“同意”可以通过用户的申请,用户的“审批状态”从“未审批”变成“已审批”。 拒绝用户使用该资产:单击用户操作列的“拒绝”并填写拒
力的巨大工程,ModelArts支持将训练好的模型一键部署到端、边、云的各种设备上和各种场景上,并且还为个人开发者、企业和设备生产厂商提供了一整套安全可靠的一站式部署方式。 图1 部署模型的流程 在线推理服务,可以实现高并发,低延时,弹性伸缩,并且支持多模型灰度发布、A/B测试。
推理专属预置镜像列表 ModelArts的推理平台提供了一系列的基础镜像,用户可以基于这些基础镜像构建自定义镜像,用于部署推理服务。 X86架构(CPU/GPU)的推理基础镜像 表1 TensorFlow AI引擎版本 支持的运行环境 镜像名称 URI 2.1.0 CPU GPU(cuda10
左侧导航栏选择“自动学习”默认进入新版自动学习页面,选择物体检测项目,单击“创建项目”。 进入“创建物体检测”页面后,填写相关参数。 计费模式:默认按需计费。 名称:自行创建项目名称。 描述:自行描述项目详情,例如口罩检测。 数据集:下拉选择已下载的数据集(步骤2中已成功导入的数
计算规格说明 AI Gallery提供了多种计算规格供用户按需选用。只要用户的账号费用充足,就可以持续使用资源,详细计费说明请参见计费说明。 计费说明 AI Gallery的计费规则如表1所示。 表1 计费说明 规则 说明 话单上报规则 仅当AI Gallery工具链服务创建成功
的文件。 支持编辑资产介绍。每个资产介绍可分为基础设置和使用描述。 基础设置部分包含了该资产所有重要的结构化元数据信息。选择填入的信息将会变成该模型资产的标签,并且自动同步在模型描述部分,保存到“README.md”文件里。 模型描述部分是一个可在线编辑、预览的Markdown文
任务实例的目录挂载情况(以下挂载点在保存镜像的时候不会保存)。详情如下: Notebook 表1 Notebook挂载点介绍 挂载点 是否只读 备注 /home/ma-user/work/ 否 客户数据的持久化目录。 /data 否 客户PFS的挂载目录。 /cache 否 裸机
这些可用区通过延迟低、吞吐量高且冗余性高的网络连接在一起。利用可用区,您可以设计和操作在可用区之间无中断地自动实现故障转移的应用程序和数据库。与传统的单个或多个数据中心基础设施相比,可用区具有更高的可用性、容错性和可扩展性。 ModelArts通过对DB的数据进行备份,保证在原数据被破坏或损坏的情况下可以恢复业务。
挂载到指定目录:支持设置“数据盘挂载到的指定路径”和“写入模式”,包括线性和条带化。 以本地持久卷挂载:支持“持久卷写入模式”设置,包括线性和条带化,此处设置的是所有数据盘的写入模式。 以临时存储卷挂载:支持“临时卷写入模式”设置,包括线性和条带化,此处设置的是所有数据盘的写入模式。 新增规格 - 支持添加多个规格。限制如下:
的文件。 支持编辑资产介绍。每个资产介绍可分为基础设置和使用描述。 基础设置部分包含了该资产所有重要的结构化元数据信息。选择填入的信息将会变成该模型资产的标签,并且自动同步在模型描述部分,保存到“README.md”文件里。 模型描述部分是一个可在线编辑、预览的Markdown文
保存成功的标签信息会在资产搜索页成为过滤分类条件。 图5 添加标签 关联资产 Notebook可以关联数据集资产。当Notebook关联了数据集时,数据集页面也显示关联了Notebook。 选择“关联资产”页签,单击右上方的“编辑”,在搜索框中输入待关联资产的ID,单击“关联”。 在弹出的“资
许模型服务在运行时进行权重的迭代升级,该操作不会影响部署服务的正常运行。滚动升级模型权重的功能避免了重新部署整个模型服务的必要性,从而确保了服务的连续性,无需执行任何业务迁移操作。 约束限制 模型权重更新后,后续对部署模型进行操作,即从“我的模型”中对该部署模型发起的操作时,都将基于新权重进行。
400GB/s。使用上述测试脚本测得带宽性能进行如下分析。 正常模式-NVLINK全互通,带宽约为370GB。基本符合预期,且证明Ant GPU裸金属服务器内部GPU间确实走NVLINK模式,且完全互联。 图2 正常模式带宽性能 异常模式-NVLINK部分互通,出现带宽波动较大的情况。如下图
在线服务部署是否支持包周期? 在线服务不支持包周期的计费模式。 父主题: 功能咨询
史,同时及时发现合规风险,对威胁告警及时响应。 ModelArts承载关键业务的对外开放EIP部署了高防服务,以防大流量攻击。 ModelArts对存放关键数据的数据库部署了数据库安全服务。 云服务防抖动和遭受攻击后的应急响应/恢复策略 ModelArts服务具备租户资源隔离能力
gz”:验证集标签的压缩包文件,共包含10000个样本的类别标签。 以上数据样例仅供参考。 步骤二:准备训练文件和推理文件 针对此案例,ModelArts提供了需使用的训练脚本、推理脚本和推理配置文件。请参考如下文件内容。 粘贴“.py”文件代码时,请直接新建“.py”文件,否则会可能出现“SyntaxError: