检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
具体如表1所示。 表1 支持的模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理 是否支持W4A16量化 是否支持W8A8量化 是否支持W8A16量化 是否支持 kv-cache-int8量化 开源权重获取地址 1 llama-7b √ √ √ √ √ https://huggingface
level 否 String 指定返回的事件级别,取值范围[Info Error Warning]。 pattern 否 String 指定事件信息包含的内容,最长256个字符。 source 否 String 指定返回的事件来源,取值范围为[K8S Job Task]。 请求参数 表3
服务配置(如果是共享过来的服务,只返回model_id ,model_name,model_version) access_address String 推理请求的访问地址,当infer_type为real-time时会返回此值 invocation_times Number 服务的总调用次数。 failed_times
reached 创建完Notebook后,单击操作列的“打开”,报错如下: 解决方案:复制页面的域名,添加到windows代理“请勿对以下列条目开头的地址使用代理服务器”中,然后保存就可以正常打开。 父主题: 实例故障
“asc”。 offset 否 Integer 起始索引,默认为“0”。 limit 否 Integer 限制本次返回的结果数据条数,取值范围(0,∞),默认值为“0”,返回全部。 workspace_id 否 String 工作空间id。未创建工作空间时取值默认值为0,存在创建并使用的工作空间,以实际取值为准。
本列表。 offset 否 Integer 分页列表的起始页,默认为0。 limit 否 Integer 指定每一页返回的最大条目数,取值范围[1,100],默认为10。 父主题: 样本管理
参数 是否必选 参数类型 说明 per_page 否 Integer 指定每一页展示作业参数的总量,默认为10,“per_page”可选的范围为[1,1000]。 page 否 Integer 指定要查询页的索引。 如果需要分页,请设置“page”参数值为“1”。 默认“page”参数值为“0”,不支持分页。
Array of strings 镜像支持的规格。 枚举值如下: CPU GPU ASCEND swr_path String SWR镜像地址。 tag String 镜像Tag。 type String 镜像类型。枚举值如下: BUILD_IN:系统内置镜像。 DEDICATED:用户保存的镜像。
模型训练脚本参数 参数 示例值 参数说明 ORIGINAL_TRAIN_DATA_PATH 【预训练:pt】预训练数据集相对或绝对地址 【微调:sft】微调数据集相对或绝对地址 【必改】。训练时指定的输入原始数据路径。请根据实际规划修改。用户根据训练情况二选一; USER_PROCESSED_DATA_DIR
tion的依赖,需要将依赖的Action同时写入授权项,才能实现对应的权限功能。 IAM项目/企业项目:自定义策略的授权范围,包括IAM项目与企业项目。授权范围如果同时支持IAM项目和企业项目,表示此授权项对应的自定义策略,可以在IAM和企业管理两个服务中给用户组授权并生效。如果
在pip文件夹中创建一个名为pip的文本文件,并将后缀名由“.txt”改为“.ini”。文件内容示例如下: 其中,index-url为pip源ip地址,使用时需自行替换。本示例以华为源为例,具体如下: [global] index-url = https://mirrors.huaweicloud
本文基于ModelArts Lite DevServer进行操作,请参考上表说明在贵阳一环境开通和配置指导完成裸机和容器开发初始化配置。 镜像地址为swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend: pytorch_2
H:训练时指定的输入数据集路径。 ORIGINAL_HF_WEIGHT:加载tokenizer与Hugging Face权重时,对应的存放地址。 在“输出”的输入框内设置变量:OUTPUT_SAVE_DIR、HF_SAVE_DIR。 OUTPUT_SAVE_DIR:训练完成后指定的输出模型路径。
服务企业版使用,目前企业版已暂停公测。非企业版用户暂不支持使用此权限。因此需要在此勾选“SWR Admin” 策略。 设置最小授权范围,选择授权范围方案为“所有资源”,单击“确定”。 更多权限管理的信息请参见ModelArts权限管理基本概念。 配置ModelArts委托权限。
华为云ModelArts服务MindStudio,ML Studio,ModelBox镜像将在2024年6月30日00:00(北京时间)正式退市。 下线范围 下线Region:华为云全部Region 下线影响 正式下线后,ModelArts Notebook创建页面将不再呈现MindStudio、ML
在notebook调试用户代码,并找出问题的代码段。 通过关键代码段 + 退出码尝试去搜索引擎寻找解决办法。, 通过训练日志排查问题 通过日志判断出问题的代码范围。 修改代码,在问题代码段添加打印,输出更详细的日志信息。 再次运行作业,判断出问题的代码段。 父主题: 业务代码问题
H:训练时指定的输入数据集路径。 ORIGINAL_HF_WEIGHT:加载tokenizer与Hugging Face权重时,对应的存放地址。 在“输出”的输入框内设置变量:OUTPUT_SAVE_DIR、HF_SAVE_DIR。 OUTPUT_SAVE_DIR:训练完成后指定的输出模型路径。
H:训练时指定的输入数据集路径。 ORIGINAL_HF_WEIGHT:加载tokenizer与Hugging Face权重时,对应的存放地址。 在“输出”的输入框内设置变量:OUTPUT_SAVE_DIR、HF_SAVE_DIR。 OUTPUT_SAVE_DIR:训练完成后指定的输出模型路径。
确保容器可以访问公网。 训练支持的模型列表 本方案支持以下模型的训练,如表1所示。 表1 支持的模型列表及权重文件地址 支持模型 Template 支持模型参数量 权重文件获取地址 Llama2 llama2 llama2-7b https://huggingface.co/meta-l
将准备好的sshd启动脚本文件上传至OBS的训练代码目录下。 创建自定义镜像训练作业。 “代码目录”选择存有sshd启动脚本文件的OBS地址。 “启动命令”需要适配sshd启动脚本,如下所示: bash ${MA_JOB_DIR}/demo-code/start_sshd.sh