检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发环境的Notebook,根据不同的工作环境,对应支持的镜像和版本有所不同。 表3 新版Notebook支持的镜像 镜像名称 镜像描述 适配芯片 支持SSH远程开发访问 支持在线JupyterLab访问 pytorch1.8-cuda10.2-cudnn7-ubuntu18.04 CPU、GPU通用算法开发和训练基础镜像,预置AI引擎PyTorch1
Step3 权重格式离线转换(可选) AutoAWQ量化完成后,使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包,在线转换会增加启动时间,可以提前对权重进行转换以减少启动时间,转换步骤如下: 进入llm_tools/AutoAWQ代码目录下执行以下脚本:
from label task") 参数说明 表1 请求参数 参数 是否必选 参数类型 描述 name 否 String 版本名称,必须是中文、字母、数字、下划线或中划线组成的合法字符串,长度为1-32位。 version_format 否 String 数据集版本格式。可选值如下:
请求Body参数 参数 是否必选 参数类型 描述 schedule 否 Array of Schedule objects 服务调度配置,仅在线服务可配置,默认不使用,服务长期运行。 description 否 String 服务描述,不超过100个字符,不能包含字符有!<>=&"'。不设置此参数表示不更新。
集详情页。 在数据集详情页,单击右侧“发布”,在发布数据集页面编辑发布信息后,单击“发布”。 表1 发布数据集的参数说明 参数名称 说明 中文名称 数据集发布后显示的名称,在创建数据集时设置的名称,此处不可编辑。 任务类型 选择合适的任务类型。 许可证 必填项,根据业务需求选择合适的许可证类型。
该接口支持管理员给IAM子用户设置委托,支持设置当前用户的访问密钥。 若没有授权,ModelArts服务的数据管理、训练管理、开发环境、在线服务等功能将不能正常使用。 调用查看授权列表接口查看用户的授权信息。 在管理用户授权时,可以调用删除授权接口删除指定用户的授权或者删除全量用户的授权。
SWR OperateAccess 必选 CES云监控 授予子用户使用CES云监控服务的权限。通过CES云监控可以查看ModelArts的在线服务和对应模型负载运行状态的整体情况,并设置监控告警。 CES FullAccess 必选 SMN消息服务 授予子用户使用SMN消息服务的
业务场景 依赖的服务 委托授权项 说明 在线服务 LTS lts:groups:create lts:groups:list lts:topics:create lts:topics:delete lts:topics:list 建议配置,在线服务配置LTS日志上报。 批量服务 OBS
如果正确请按继续排查。 如果不正确请按上面格式修改后继续排查。 查看密钥文件的路径,建议放在C:\Users\{user}\.ssh下,并确保密钥文件无中文字符。 排查插件包是否为最新版:在extensions中搜索,看是否需要升级。检查Remote-ssh三方插件是否兼容。 4. 检查本地V
如果正确请按继续排查。 如果不正确请按上面格式修改后继续排查。 查看密钥文件的路径,建议放在C:\Users\{user}\.ssh下,并确保密钥文件无中文字符。 排查插件包是否为最新版:在extensions中搜索,看是否需要升级。检查Remote-ssh三方插件是否兼容。 4. 检查本地V
algorithm_type_en String AutoSearch算法类型,英文描述。 algorithm_type_zh String AutoSearch算法类型,中文描述。 algorithm_names Array of strings 该算法类型下所有算法的名称。 请求示例 查询自动化搜索作业支持的yaml配置模板的信息
片为已标注图片。 数据上传至OBS 在本文档中,采用通过OBS管理控制台将数据上传至OBS桶。 上传OBS的文件规范: 文件名规范,不能有中文,不能有+、空格、制表符。 如不需要提前上传训练数据,请创建一个空文件夹用于存放工程后期生成的文件。如:“/bucketName/data-cat”。
Step3 权重格式离线转换(可选) AutoAWQ量化完成后,使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包,在线转换会增加启动时间,可以提前对权重进行转换以减少启动时间,转换步骤如下: 进入llm_tools/AutoAWQ代码目录下执行以下脚本:
Step3 权重格式离线转换(可选) AutoAWQ量化完成后,使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包,在线转换会增加启动时间,可以提前对权重进行转换以减少启动时间,转换步骤如下: 进入llm_tools/AutoAWQ代码目录下执行以下脚本:
dataset:数据集 obs:OBS swr:SWR model_list:AI应用列表 label_task:标注任务 service:在线服务 conditions 否 Array of Constraint objects 数据约束条件。 value 否 Map<String
如果切换了Notebook的规格,那么只能在Notebook进行单机调测,不能进行分布式调测,也不能提交远程训练作业。 当前仅支持PyTorch和MindSpore AI框架,如果MindSpore要进行多机分布式训练调试,则每台机器上都必须有8张卡。 本文档提供的调测代码中涉及到的OBS路径,请用户替换为自己的实际OBS路径。
dataset:数据集 obs:OBS swr:SWR model_list:AI应用列表 label_task:标注任务 service:在线服务 conditions 否 Array of Constraint objects 数据约束条件。 value 否 Map<String
dataset:数据集 obs:OBS swr:SWR model_list:AI应用列表 label_task:标注任务 service:在线服务 conditions 否 Array of Constraint objects 数据约束条件。 value 否 Map<String
测试推理服务:工作流运行完成后,在服务部署节点右侧单击“实例详情”跳转至推理服务详情页。或者在ModelArts管理控制台,选择“部署上线>在线服务”,找到部署的推理服务,单击服务名称,进入服务详情页。单击“预测”,右边可查看预测结果。 图6 预测样例图 图7 预测结果 父主题: 使用Workflow实现低代码AI开发
率和采样精度保持一致。 标注质量对于最终的模型精度有极大的影响,标注过程中尽量不要出现误标情况。 音频标注涉及到的标注标签和声音内容只支持中文和英文,不支持小语种。 数据上传至OBS 在本文档中,采用通过OBS管理控制台将数据上传至OBS桶。 上传OBS的文件规范: 如不需要提前