检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
image_url}参见表2。 docker pull {image_url} 步骤三:启动容器镜像 启动容器镜像。启动前请先按照参数说明修改${}中的参数。 docker run -it --net=host \ --device=/dev/davinci0 \ --device=/dev/davinci1
配置需要的NPU卡。 export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3 0,1,2,3修改为需要使用的卡,如需使用全部8张卡,修改为0,1,2,3,4,5,6,7。 配置PYTHONPATH。 export PYTHONPATH=$PYTHONPATH:${vllm_path}
定义,然后选择上传到SWR的自定义镜像。 代码目录:选择上传到OBS的代码文件夹,例如/sdxl-train/code。若用户需要修改代码文件,可修改OBS桶中代码文件,创建训练作业时,会将OBS的code目录复制到训练容器的/home/ma-user/sdxl-train/us
像素。 result_property 否 String 样本状态,不传或传-1默认返回全部样本。可选值如下: -1:全部 0:保留 1:修改 2:删除 3:新增 请求参数 无 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 count Integer 结果总数。
定义,然后选择上传到SWR的自定义镜像。 代码目录:选择上传到OBS的代码文件夹,例如/sdxl-train/code。若用户需要修改代码文件,可修改OBS桶中代码文件,创建训练作业时,会将OBS的code目录复制到训练容器的/home/ma-user/sdxl-train/us
cron表达式需要使用linux系统下支持的格式,其他的cron表达式会报错。表达式可能会包含问号,要兼容linux的cron表达式,需将“?”替换为“*”。 设置定时任务后,修改文件名称以及文件内容,已经创建好的任务不受影响。 立即运行后,在Notebook Jobs页签可以看到任务运行记录,右上角Reload刷新。
批量删除样本 查询单个样本信息 获取样本搜索条件 分页查询团队标注任务下的样本列表 查询团队标注的样本信息 查询数据集标签列表 创建数据集标签 批量修改标签 批量删除标签 按标签名称更新单个标签 按标签名称删除标签及仅包含此标签的文件 批量更新样本标签 查询数据集的团队标注任务列表 创建团队标注任务
Dockerfile会下载Megatron-LM、MindSpeed、ModelLink源码,并将以上源码打包至镜像环境中。 如果用户希望修改源码,则需要使用新镜像创建容器,在容器内的/home/ma-user工作目录中访问并编辑以上源码文件。编辑完成后重新构建新镜像。 使用以上
Dockerfile会下载Megatron-LM、MindSpeed、ModelLink源码,并将以上源码打包至镜像环境中。 如果用户希望修改源码,则需要使用新镜像创建容器,在容器内的/home/ma-user工作目录中访问并编辑以上源码文件。编辑完成后重新构建新镜像。 使用以上
Dockerfile会下载Megatron-LM、MindSpeed、ModelLink源码,并将以上源码打包至镜像环境中。 如果用户希望修改源码,则需要使用新镜像创建容器,在容器内的/home/ma-user工作目录中访问并编辑以上源码文件。编辑完成后重新构建新镜像。 使用以上
Dockerfile会下载Megatron-LM、MindSpeed、ModelLink源码,并将以上源码打包至镜像环境中。 如果用户希望修改源码,则需要使用新镜像创建容器,在容器内的/home/ma-user工作目录中访问并编辑以上源码文件。编辑完成后重新构建新镜像。 使用以上
部署:将模型发布为在线服务、批量服务或边缘服务。 创建新版本:创建新的模型版本。参数配置除版本外,将默认选择上一个版本的配置信息,您可以对参数配置进行修改。 删除:删除对应的模型。 说明: 如果模型的版本已经部署服务,需先删除关联的服务后再执行删除操作。模型删除后不可恢复,请谨慎操作。 单击
作栏“更多”,选择“复制”,出现复制Workflow弹窗,新名称会自动生成(生成规则:原工作流名称 + '_copy')。 用户也可以自行修改新工作流名称,但会有校验规则验证新名称是否符合要求。 新的Workflow名称,必须为1~64位只包含英文、数字、下划线(_)和中划线(-)且以英文开头的名称。
yaml相对或绝对路径,此配置文件为训练最优配置参数。 --baseline <baseline>:<可选>GP-Ant8机器性能基线yaml文件路径,用户可自行修改,不填则使用工具自带基线配置,默认基线配置样例如下: --o <output_dir>: <可选>任务完成输出excel表格路径,默认为"
json文件,里面是提取的per-tensor的scale值。内容示例如下: 注意: 1、 抽取完成后,可能提取不到model_type信息,需要手动将model_type修改为指定模型,如"llama"。 2、当前社区vllm只支持float8的kv_cache量化,抽取脚本中dtype类型是"float8_e
容示例如下: 图1 抽取kv-cache量化系数 注意: 抽取完成后,可能提取不到model_type信息,需要手动将model_type修改为指定模型,如"llama"。 当前社区vllm只支持float8的kv_cache量化,抽取脚本中dtype类型是"float8_e4m
示例值 参数说明 MOUNT OBS 表示代码根据OBS存储方式运行。 MODEL_NAME llama2-70b 对应模型名称。请根据实际修改。 FINETUNING_TYPE lora 表示训练策略。可选择值: full:全参微调 lora:lora微调 CODE_DIR /h
requirements.txt 运行静态benchmark验证脚本benchmark_parallel.py,具体操作命令如下,可以根据参数说明修改参数。 python benchmark_parallel.py --backend openai --host 127.0.0.1 --port
parameters=[] ), # 训练使用的算法对象,示例中使用AIGallery订阅的算法;部分算法超参的值如果无需修改,则在parameters字段中可以不填写,系统自动填充相关超参值 inputs=wf.steps.JobInput(name="data_url"
本案例的训练作业预计运行十分钟。 单击训练作业名称,进入作业详情界面查看训练作业日志信息,观察日志是否有明显的Error信息,如果有则表示训练失败,请根据日志提示定位原因并解决。 在训练详情页左下方单击训练输出路径,如图4所示,跳转到OBS目录,查看是否存在model文件夹,且model文件夹中是否