检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
source”选“Frequently-used”时,显示此参数。 Code Directory 训练代码目录,系统会自动填写为训练启动文件所在的目录,用户可根据需要修改,所选目录必须是当前工程中的目录且包含启动文件。 当算法来源为自定义镜像,训练代码已预置在镜像中时,该参数可以为空。 Image Path(optional)
zip上传到${workdir}目录下并解压缩,如:/home/ma-user/ws目录下,以下都以/home/ma-user/ws为例,请根据实际修改。 unzip AscendCloud-*.zip 上传tokenizers文件到工作目录中的/home/ma-user/ws/toke
数据来源,与inputs二选一。数据源路径不支持设置为KMS加密桶中的OBS路径。 description 否 String 数据处理任务描述,长度为0-256位,不能包含^!<>=&"'特殊字符。 inputs 否 Array of ProcessorDataSource objects 数据来源列表,
multi-GPU Communication Library)环境变量 OBS环境变量 PIP源环境变量 API网关地址环境变量 作业元信息环境变量 如何修改环境变量 用户可以在创建训练作业页面增加新的环境变量,也可以设置新的取值覆盖当前训练容器中预置的环境变量值。 为保证数据安全,请勿输入敏感信息,例如明文密码。
> 0。 使用beam_search场景下,n取值建议为1<n≤10。如果n=1,会导致推理请求失败。 说明: n建议取值不超过10,n值过大会导致性能劣化,显存不足时,推理请求会失败。 use_beam_search 否 False Bool 是否使用beam_search替换采样。
zip上传到${workdir}目录下并解压缩,如:/home/ma-user/ws目录下,以下都以/home/ma-user/ws为例,请根据实际修改。 unzip AscendCloud-*.zip 上传tokenizers文件到工作目录中的/home/ma-user/ws/toke
的实现,继承想要的通用的父类,实现_filter方法,然后在数据预处理的参数里指定自己的handler名称即可 用户自定义执行数据处理脚本修改参数说明 同样以 llama2 为例,用户可直接编辑 scripts/llama2/1_preprocess_data.sh 脚本,自定义
--class_name String 是 批处理作业的Java/Spark主类。 --name String 否 创建时用户指定的作业名称,不能超过128个字符。 --image String 否 自定义镜像路径,格式为:组织名/镜像名:镜像版本。当用户设置“feature”为“c
(可选)Session鉴权 Session鉴权概述 Session模块的主要作用是实现与公有云资源的鉴权,并初始化ModelArts SDK Client、OBS Client。当成功建立Session后,您可以直接调用ModelArts的SDK接口。 ModelArts开发环境
通过Token认证的方式访问在线服务 如果在线服务的状态处于“运行中”,则表示在线服务已部署成功,部署成功的在线服务,将为用户提供一个可调用的API,此API为标准Restful API。在集成至生产环境之前,需要对此API进行调测,您可以使用以下方式向在线服务发起预测请求: 方
的数据。 图9 查看智能标注任务进度 确认智能标注结果 在智能标注任务完成后,在“待确认”页签下,单击具体图片进入标注详情页面,可以查看或修改智能标注的结果。 如果智能标注的数据无误,可单击右侧的“确认标注”完成标注,如果标注信息有误,可直接删除错误标注框,然后重新标注,以纠正标
华为云技术支持配置完成后,会给您提供对应的OBS桶目录“obs_dir”,该目录用于后续配置的脚本中。 图1 租户名ID和IAM用户名ID 准备收集上传脚本。 修改以下脚本中NpuLogCollection的参数,将ak、sk、obs_dir替换为前面步骤中获取到的值,然后把该脚本上传到要收集NPU日志的节点上。
evaluator.py # 数据集数据预处理方法集 ├── model.py # 发送请求的模块,在这里修改请求响应。目前支持vllm.openai,atb的tgi模板 ├── ... ├── eval_test
"/home/work/nas", "nas_share_addr": "192.168.8.150:/", "nas_type": "nfs" } 失败响应示例 { "is_success": false, "error_message": "Error string",
zip上传到${workdir}目录下并解压缩,如:/home/ma-user/ws目录下,以下都以/home/ma-user/ws为例,请根据实际修改。 unzip AscendCloud-*.zip 上传tokenizers文件到工作目录中的/home/ma-user/ws/toke
rename('obs://bucket_name/obs_file.txt', 'obs://bucket_name/obs_file_2.txt') 移动和复制操作不可以跨桶,必须在同一个桶内操作。 从OBS移动到本地,例如将“obs://bucket_name/obs_file.txt”移动到“/tmp/obs_file
ModelArts最佳实践案例列表 在最佳实践文档中,提供了针对多种场景、多种AI引擎的ModelArts案例,方便您通过如下案例快速了解使用ModelArts完成AI开发的流程和操作。 LLM大语言模型训练推理场景 样例 场景 说明 主流开源大模型基于DevServer适配ModelLink
zip上传到${workdir}目录下并解压缩,如:/home/ma-user/ws目录下,以下都以/home/ma-user/ws为例,请根据实际修改。 unzip AscendCloud-*.zip 上传tokenizers文件到工作目录中的/home/ma-user/ws/toke
SMN消息订阅ID。 exeml_template_id 否 String 自动学习模板ID。 last_modified_at 否 String 最近一次修改的时间。 package 否 WorkflowServicePackege object 计费工作流订阅包信息。 表3 WorkflowStep
SMN消息订阅ID。 exeml_template_id String 自动学习模板ID。 last_modified_at String 最近一次修改的时间。 package WorkflowServicePackege object 计费工作流订阅包信息。 表5 WorkflowStep