检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
进入我的Gallery 表1 我的Gallery列表介绍 模块列表 功能介绍 我的主页 展示个人的成长值数据。 成长值可以通过“签到”和发布资产获取,每天只能签到一次。 说明: 成长值相关数据和功能当前是Beta版本,在正式版本发布前可能会发生变化。 我的资产 > 算法 展示个人发布和订阅的算法列表。
配置ModelArts Standard访问授权 快速配置ModelArts委托授权 创建IAM用户并授权使用ModelArts 父主题: ModelArts Standard准备工作
镜像选择“mindspore1.7.0-cann5.1.0-py3.7-euler2.8.3”,类型选择“ASCEND”,并打开“SSH远程开发”开关,密钥对选择已有的或单击“立即创建”。 Notebook创建后,“状态”为“运行中”。单击“操作”列的“打开”,进入JupyterLab,然后参考下图打开Terminal。
实际使用情况收取硬件资源的费用。 前提条件 注册并登录华为云,且创建好OBS桶用于存储数据和模型。 如果是订阅使用HiLens技能,则需要获取相关服务权限,详细操作请参见准备工作(华为HiLens)。 订阅免费模型 登录“AI Gallery”。 选择“资产集市 > 模型”,进入
分别单击“输入”和“输出”的数据存储位置,如图所示,选择OBS桶中指定的目录。ORIGINAL_TRAIN_DATA_PATH中则直接选中数据集文件。 “输入”和“输出”中的获取方式全部选择为:环境变量。 “输出”中的预下载至本地目标选择:下载,此时输出路径中的数据则会下载至OBS中。 Step3 配置环境变量 单
分别单击“输入”和“输出”的数据存储位置,如图所示,选择OBS桶中指定的目录。ORIGINAL_TRAIN_DATA_PATH中则直接选中数据集文件。 “输入”和“输出”中的获取方式全部选择为:环境变量。 “输出”中的预下载至本地目标选择:下载,此时输出路径中的数据则会下载至OBS中。 Step3 配置环境变量 单
起构建合作共赢的AI生态体系。 AI Gallery使用限制 目前自动学习产生的模型暂不支持发布到AI Gallery。 订阅或购买主要是获取AI资产的使用配额和使用权,支持在配额定义的约束下,有限地使用AI资产。 使用AI资产时,可能需要消耗硬件资源,硬件资源费用将根据实际使用
git-lfs-linux-arm64-v3.2.0.tar.gz git-lfs-3.2.0 通过git下载sd PyTorch模型。 该模型用于获取模型shape,也可以转换生成onnx模型。后文中的modelarts-ascend仓库已经给出了模型shape,可以直接使用,onnx模型也可以单独下载。
分别单击“输入”和“输出”的数据存储位置,如图所示,选择OBS桶中指定的目录。ORIGINAL_TRAIN_DATA_PATH中则直接选中数据集文件。 “输入”和“输出”中的获取方式全部选择为:环境变量。 “输出”中的预下载至本地目标选择:下载,此时输出路径中的数据则会下载至OBS中。 Step3 配置环境变量 单
分别单击“输入”和“输出”的数据存储位置,如图所示,选择OBS桶中指定的目录。ORIGINAL_TRAIN_DATA_PATH中则直接选中数据集文件。 “输入”和“输出”中的获取方式全部选择为:环境变量。 “输出”中的预下载至本地目标选择:下载,此时输出路径中的数据则会下载至OBS中。 Step3 配置环境变量 单
训练数据的日志文件存放路径。训练过程中的迭代次数、LOSS和吞吐数据按照“迭代次数|loss|吞吐”格式记录在日志中,AI Gallery通过环境变量找到日志,从中获取实际数据绘制成“吞吐”和“训练LOSS”曲线,呈现在训练的“指标效果”中。具体请参见查看训练效果。 说明: 日志文件中的迭代次数、LOSS
ai:表示使用DLI提供的AI镜像。 --queue String 否 用于指定队列,填写已创建DLI的队列名。必须为通用类型的队列。队列名称的获取请参考表5。 -ec / --executor-cores String 否 Spark应用每个Executor的CPU核数。该配置项会替换sc_type中对应的默认参数。
我参与的”页面。如果未登录控制台,请先登录。 在“我参与的”页签下,可查看您的标注任务。 图6 标注任务 数据标注访问地址可以查看如下表格获取,另外,如果团队成员绑定了邮箱,可以收到任务通知邮件,成员也可以通过邮件中给出的地址访问ModelArts-Console标注地址。 表1
分别单击“输入”和“输出”的数据存储位置,如图所示,选择OBS桶中指定的目录。ORIGINAL_TRAIN_DATA_PATH中则直接选中数据集文件。 “输入”和“输出”中的获取方式全部选择为:环境变量。 “输出”中的预下载至本地目标选择:下载,此时输出路径中的数据则会下载至OBS中。 Step3 配置环境变量 单
分别单击“输入”和“输出”的数据存储位置,如图所示,选择OBS桶中指定的目录。ORIGINAL_TRAIN_DATA_PATH中则直接选中数据集文件。 “输入”和“输出”中的获取方式全部选择为:环境变量。 “输出”中的预下载至本地目标选择:下载,此时输出路径中的数据则会下载至OBS中。 Step3 配置环境变量 单
对应的Tensor数据由于指定了ascend后端,Output的内容在显存中,通过tensor的get_data_to_numpy方法来获取,并将数据读取到内存中使用。 outputs = model.predict(inputs) outputs = [output.get_data_to_numpy()
--auth PWD -P xxx 执行env|grep -i CURRENT_IMAGE_NAME命令查询当前实例所使用的镜像。 制作新镜像。 获取上步查询的基础镜像的SWR地址。 CURRENT_IMAGE_NAME=swr.cn-north-4.myhuaweicloud.com/
Key值固定为X-Apig-AppCode,Value值为APP认证的app_code值,在服务调用指南tab的APP认证API处展开,进行AppCode管理设置。 图13 获取Key值和Value值 将在ModHeader插件中添加Key值和Value值。 图14 添加Key和value 进入在线服务详情页,查看APP认证方式的服务API。
出目录下最新的权重 支持的模型列表 本方案支持以下模型的训练,如表1所示。 表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
ples/{sample_id} modelarts:sample:getSample obs:object:GetObject √ √ 获取样本搜索条件 GET /v2/{project_id}/datasets/{dataset_id}/data-annotations/search-condition