检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Server)是一款兼具虚拟机弹性和物理机性能的计算类服务,为您和您的企业提供专属的云上物理服务器,为核心数据库、关键应用系统、高性能计算、大数据等业务提供卓越的计算性能以及数据安全。 ECS 弹性云服务器(Elastic Cloud Server)是一种可随时自助获取、可弹性伸缩的云服务器,可帮助您打造可靠
准备算法 此处以订阅算法举例,您也可以自己准备算法。 从AI Gallery订阅一个图像分类的算法进入AI Gallery>资产集市>算法,搜索自动学习算法-图像分类。 单击算法右侧的“订阅”。 在弹出的窗口中,勾选“我已阅读并同意 《数据安全与隐私风险承担条款》 和 《华为云AI
import_origin 否 String 数据来源。可选值如下: obs:OBS桶(默认值) dws:GaussDB(DWS)服务 dli:DLI服务 rds:RDS服务 mrs:MRS服务 inference:推理服务 import_path 是 String 导入的OBS路径或manifest路径。
scripts/llama2/0_pl_pretrain_13b.sh 等待模型载入 执行训练启动命令后,等待模型载入,当出现“training”关键字时,表示开始训练。训练过程中,训练日志会在最后的Rank节点打印。 图1 等待模型载入 最后,请参考查看日志和性能章节查看预训练的日志和性能。
数据集可以关联Notebook和算法。当数据集关联了Notebook或算法时,Notebook或算法页面也显示关联了数据集。 选择“关联资产”页签,单击右上方的“编辑”,在搜索框中输入待关联资产的ID,单击“关联”。 在弹出的“资产信息”页面,单击“确定”即可关联资产。 对已经关联的资产,单击“取消关联”即可取消资产的关联。
步骤2:安装Python插件以及配置入参 打开VS Code工具,单击“Extensions”,搜索python,然后单击“Install”。 图3 安装Python 输入Ctrl+Shirt+P,搜索“python:select interpreter”,选择Python解释器。 图4 选择python解释器
在操作列单击“用户组管理”,将需要配置权限的用户加入用户组中。 单击用户组名称,进入用户组详情页。 在权限管理页签下,单击“授权”。 图2 “配置权限” 在搜索栏输入“ModelArts FullAccess”,并勾选“ModelArts FullAccess”。 图3 ModelArts FullAccess
“队列名称”:系统自动将当前账号下的DLI队列展现在列表中,您可以在下拉框中选择您所需的队列。 “数据库名称”:根据选择的队列展现所有的数据库,请在下拉框中选择您所需的数据库。 “表名称”:根据选择的数据库展现此数据库中的所有表。请在下拉框中选择您所需的表。 DLI的详细功能说明,请参见《DLI用户指南》。
关闭数据集shuffle,保证训练数据一致。 修改/home/ma-user/open_clip/src/training/data.py文件,搜索get_wds_dataset函数,将两处shuffle关闭,修改代码如下。 if is_train: if not resampled:
准备代码 软件配套版本 本方案支持的软件配套版本和依赖包获取地址如表1所示。 表1 软件配套版本和获取地址 软件名称 说明 下载地址 AscendCloud-6.3.910-xxx.zip 说明: 软件包名称中的xxx表示时间戳。 包含了本教程中使用到的推理部署代码和推理评测代码
告警及时响应。 ModelArts承载关键业务的对外开放EIP部署了高防服务,以防大流量攻击。 ModelArts对存放关键数据的数据库部署了数据库安全服务。 云服务防抖动和遭受攻击后的应急响应/恢复策略 ModelArts服务具备租户资源隔离能力,避免单租户资源被攻击导致爆炸半径大,影响其他租户。
相关名词解释 名词 含义 裸金属服务器 裸金属服务器是一款兼具虚拟机弹性和物理机性能的计算类服务,为您和您的企业提供专属的云上物理服务器,为核心数据库、关键应用系统、高性能计算、大数据等业务提供卓越的计算性能以及数据安全。 由于Server是一台裸金属服务器,在ModelArts管理控制
使用ModelArts Standard一键完成商超商品识别模型部署 ModelArts的AI Gallery中提供了大量免费的模型供用户一键部署,进行AI体验学习。 本文以“商超商品识别”模型为例,完成从AI Gallery订阅模型,到ModelArts一键部署为在线服务的免费体验过程。
Lite专属资源池列表,单击资源池名称,进入专属资源池详情页面。 在基本信息页面单击CCE集群,跳转到CCE集群详情页面。 在左侧导航栏选择“插件市场”,搜索“Volcano调度器”。 单击“编辑”,查看高级配置的“plugins”参数下是否有“{"name":"cabinet"}”,如图2所示。
限配置为普通模式时,缺少Modelarts的一些权限,导致创建MaaS作业失败。您可以在IAM控制台的“委托”页面,使用新建的委托名称进行搜索,在该委托下单独授予ModelArts CommonOperations权限解决此问题。 图5 委托页面授权 图6 添加ModelArts
准备代码 软件配套版本 本方案支持的软件配套版本和依赖包获取地址如表1所示。 表1 软件配套版本和获取地址 软件名称 说明 下载地址 AscendCloud-6.3.909-xxx.zip 说明: 软件包名称中的xxx表示时间戳。 包含了本教程中使用到的推理部署代码和推理评测代码
0。 kubectl logs -f ${pod_name} 等待模型载入 执行训练启动命令后,等待模型载入,当出现“training”关键字时,表示开始训练。训练过程中,训练日志会在最后的Rank节点打印。 图1 等待模型载入 训练完成后,生成的权重文件保存路径为:/mnt/s
准备代码 软件配套版本 本方案支持的软件配套版本和依赖包获取地址如表1所示。 表1 软件配套版本和获取地址 软件名称 说明 下载地址 AscendCloud-6.3.911-xxx.zip 说明: 软件包名称中的xxx表示时间戳。 包含了本教程中使用到的推理部署代码和推理评测代码
0。 kubectl logs -f ${pod_name} 等待模型载入 执行训练启动命令后,等待模型载入,当出现“training”关键字时,表示开始训练。训练过程中,训练日志会在最后的Rank节点打印。 图1 等待模型载入 训练完成后,生成的权重文件保存路径为:/mnt/s
0。 kubectl logs -f ${pod_name} 等待模型载入 执行训练启动命令后,等待模型载入,当出现“training”关键字时,表示开始训练。训练过程中,训练日志会在最后的Rank节点打印。 图1 等待模型载入 训练完成后,生成的权重文件保存路径为:/mnt/s