检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
删除处理任务 功能介绍 删除处理任务,支持删除“特征分析”任务和“数据处理”两大类任务。可通过指定路径参数“task_id”来删除某个具体任务。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
查询资源池的所有标签 功能介绍 查询用户当前项目下资源池的所有标签,默认查询所有工作空间,无权限的工作空间不返回标签数据。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI
团队标注审核 功能介绍 团队标注审核。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/datasets/{dataset
diffusers_finetune_train.sh 启动SDXL Finetune训练服务 使用ma-user用户执行如下命令运行训练脚本。 sh diffusers_sdxl_finetune_train.sh 训练执行脚本中配置了保存checkpoint的频率,每500s
MULTI_NPU downcast_bf16: 'no' gpu_ids: all machine_rank: 0 main_training_function: main mixed_precision: fp16 num_machines: 1 num_processes: 8 rdzv_backend:
训练输出路径被其他作业使用 问题现象 在创建训练作业时出现如下报错:操作失败!Other running job contain train_url: /bucket-20181114/code_hxm/ 原因分析 根据报错信息判断,在创建训练作业时,同一个“训练输出路径”在被其他作业使用。
co/01-ai/Yi-6B-Chat 14 yi-34b https://huggingface.co/01-ai/Yi-34B-Chat 15 ChatGLMv3 glm3-6b https://huggingface.co/THUDM/chatglm3-6b 16 Baichuan2
s/image-classification/data/image_" + str(i) + ".jpg" usage = "TRAIN" inference_loc = "s3://obs-path/examples/image-classification/data/image_"
是否必选 参数类型 描述 task_id 否 String 要查看哪个工作节点的日志,默认值为"worker-0";如果在创建训练作业时参数train_instance_count选择了2,则可选值为"worker-0","worker-1",依次类推。 表3 返回参数 参数 参数类型
rank=rank, world_size=size) fn(rank, size) if __name__ == "__main__": size = 2 processes = [] mp.set_start_method("spawn")
照实际需求修改。 表1 必须修改的训练超参配置 参数 示例值 参数说明 ORIGINAL_TRAIN_DATA_PATH /home/ma-user/ws/llm_train/AscendSpeed/training_data/train-00000-of-00001-a09b74b3ef9c3b56
containers: - image: ${image_name} # 推理镜像名称 imagePullPolicy: IfNotPresent name: ${container_name}
objects 资源规格列表。 表4 metadata 参数 参数类型 描述 continue String 分页查询时,下一次查询位置。 remainingItemCount Integer 剩余资源个数。 表5 ResourceFlavor 参数 参数类型 描述 apiVersion
LoRA微调超参配置 LoRA微调训练脚本qwen.sh,存放在llm_train/AscendSpeed/scripts/qwen/目录下。训练前,可以根据实际需要修改超参配置。 微调任务配置,操作同预训练配置类似,不同点为RUN_TYPE类型不同,以及输入输出路径的配置的不同。 表1
为了简化用户使用,ModelArts提供了Tailor工具便于用户进行模型转换,具体使用方式参考Tailor指导文档。 推理应用适配 MindSpore Lite提供了JAVA/C++/Python API,进行推理业务的适配,并且在构建模型时,通过上下文的参数来确定运行时的具体配置,例如运行后端的配置等。下文以Python接口为例。
日志提示“Please upgrade numpy to >= xxx to use this pandas version” 问题现象 在安装其他包的时候,有依赖冲突,对numpy库有其他要求,但是发现numpy卸载不了。出现如下类似错误: your numpy version is
点池时不支持删除。 查看节点池的存储配置 在节点池管理的更新页面,可以查看该节点池配置的系统盘、容器盘或数据盘的磁盘类型、大小、数量、写入模式、容器引擎空间大小、挂载路径磁盘配置等参数。 在Lite资源池的扩缩容页面,也可以查看节点池的存储配置信息。 查找搜索节点池 在节点池管理
"description" : "my team" } 响应示例 状态码: 201 Created { "workforce_id" : "ZUH8gqkjuaib8pxkDdz" } 状态码 状态码 描述 201 Created 401 Unauthorized 403 Forbidden 404
查询资源实时利用率 功能介绍 查询当前项目下所有资源池的实时利用率。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/metrics/runtime/pools
查询资源池上的标签 功能介绍 查询指定资源池的标签。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/pools/{pool_name}/tags