检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作步骤 登录Imagenet数据集下载官网地址,下载Imagenet21k数据集:http://image-net.org/ 下载格式转换后的annotation文件:ILSVRC2021winner21k_whole_map_train.txt和ILSVRC2021winner21k_whole_map_val
规则。 综上,在线服务的运行费用 = 计算资源费用(3.50 元) + 存储费用 示例:使用专属资源池。计费项:存储费用 假设用户于2023年4月1日10:00:00创建了一个使用专属资源池的在线服务,并在11:00:00停止运行。按照存储费用结算,那么运行这个在线服务的费用计算过程如下:
使用ModelArts VS Code插件调试训练ResNet50图像分类模型 应用场景 Notebook等线上开发工具工程化开发体验不如IDE,但是本地开发服务器等资源有限,运行和调试环境大多使用团队公共搭建的CPU或GPU服务器,并且是多人共用,这带来一定的环境搭建和维护成本
json文件,在等待status字段的值等于completed之后,将模板二格式jobstart_hccl.json文件转换为模板一格式的jobstart_hccl.json文件。 转换后的jobstart_hccl.json文件格式(模板一)示例: { "server_count": "1"
1234 随机种子数。每次数据采样时,保持一致。 CONVERT_MG2HF True 表示训练完成的权重文件会自动转换为Hugging Face格式权重。如果不需要自动转换,则删除该环境变量。 对于Yi系列模型、ChatGLMv3-6B和Qwen系列模型,还需要手动修改训练参数和to
1234 随机种子数。每次数据采样时,保持一致。 CONVERT_MG2HF True 表示训练完成的权重文件会自动转换为Hugging Face格式权重。如果不需要自动转换,则删除该环境变量。 对于ChatGLMv3-6B、GLMv4-9B和Qwen系列模型,还需要手动修改token
1:${port}/v1/completions";若服务部署在生产环境中,该地址由API接口公网地址与"/v1/completions"拼接而成,部署成功后的在线服务详情页中可查看API接口公网地址。 图1 API接口公网地址 few_shot:开启少量样本测试后添加示例样本的个数。默认为3,取值范围为0~5整数。
|──llm_inference # 推理代码包 |──llm_tools # 推理工具 工作目录介绍 详细的工作目录参考如下,建议参考以下要求设置工作目录。训练脚本以分类的方式集中在 scripts 文件夹中。 ${work
L) obs:object:PutObjectAcl(设置对象ACL) 从OBS导入模型 模型转换指定OBS路径 表7 管理部署上线 业务场景 依赖的服务 依赖策略项 支持的功能 在线服务 LTS lts:logs:list(查询日志列表) 查询和展示LTS日志 OBS obs:
Gallery中的模型部署为AI应用。 发布后的资产,可通过微调大师训练模型和在线推理服务部署模型,具体可参见使用AI Gallery微调大师训练模型、使用AI Gallery在线推理服务部署模型。 图1 AI Gallery使用流程 AI Gallery也支持管理从ModelArts中发布的模型和数据集等资产,具体可参见发布数据集到AI
# 推理代码包 |──llm_tools # 推理工具 |——AscendCloud-OPP #依赖算子包 工作目录介绍 详细的工作目录参考如下,建议参考以下要求
TCP协议的22端口。 ping命令是一种基于ICMP协议(Internet Control Message Protocol)的网络诊断工具,利用ICMP协议向目标主机发送数据包并接收返回的数据包来判断网络连接质量。当安全组的入方向规则中没有包含ICMP协议,就会出现ping不通的问题。
有一定的性能收益。 GPTQ W8A16量化支持的模型请参见支持的模型列表和权重文件。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ (huggingface.co)量化模型权重,然后在NPU的机器上实现推理量化。 具体操作如下: 开始之前,请确保安装了以下库:
接受的范围内,同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见表3。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ (huggingface.co)量化模型权重,然后在NPU的机器上实现推理量化。 具体操作如下: 开始之前,请确保安装了以下库:
中。 自动训练 训练作业结束后,其生成的模型存储在OBS中。 部署上线 ModelArts将存储在OBS中的模型部署上线为在线服务。 AI全流程开发 数据管理 数据集存储在OBS中。 数据集的标注信息存储在OBS中。 支持从OBS中导入数据。 开发环境 Notebook实例中的数据或代码文件存储在OBS中。
工作空间管理权限 表1 工作空间管理细化权限说明 权限 对应API接口 授权项 依赖的授权项 IAM项目 企业项目 创建工作空间 POST /v1/{project_id}/workspaces modelarts:workspace:create - √ √ 查询工作空间列表 GET
删除Workflow工作流 查询Workflow工作流 修改Workflow工作流 总览Workflow工作流 查询Workflow待办事项 在线服务鉴权 创建在线服务包 获取Execution列表 新建Workflow Execution 删除Workflow Execution 查询Workflow
在Notebook列表,单击某个Notebook实例操作栏的“更多 > 变更镜像”,在变更镜像窗口选择新的镜像,单击“确定”。 图1 变更镜像 在镜像窗口选择新的镜像,单击“确定”,变更成功后,在Notebook列表页的镜像栏,可以查看到变更后的镜像。 变更Notebook实例运行规格 ModelArts
查询Notebook支持的可切换规格列表 功能介绍 查询创建Notebook实例支持的可切换的规格列表。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI
中。 自动训练 训练作业结束后,其生成的模型存储在OBS中。 部署上线 ModelArts将存储在OBS中的模型部署上线为在线服务。 AI全流程开发 数据管理 数据集存储在OBS中。 数据集的标注信息存储在OBS中。 支持从OBS中导入数据。 开发环境 Notebook实例中的数据或代码文件存储在OBS中。