检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
到模型文件夹。单次上传本地文件到OBS的总大小不能超过5GB,详情请参见如何上传超过5GB的大对象。 权重校验 当“权重设置与词表”选择“自定义权重”时,需要选择是否开启权重文件校验。默认是开启的。 当开启权重校验时,平台会对OBS中的权重文件进行校验,确认其是否满足规范。权限校
它更侧重于多轮对话数据的收集和组织,模拟用户与 AI 之间的交互。数据集包含有以下字段: conversations:包含一系列对话对象,每个对象都由发言者(from)和发言内容(value)组成。 from:表示对话的角色,可以是"human"(人类)或"gpt"(机器),表示是谁说的这句话。
它更侧重于多轮对话数据的收集和组织,模拟用户与 AI 之间的交互。数据集包含有以下字段: conversations:包含一系列对话对象,每个对象都由发言者(from)和发言内容(value)组成。 from:表示对话的角色,可以是"human"(人类)或"gpt"(机器),表示是谁说的这句话。
它更侧重于多轮对话数据的收集和组织,模拟用户与 AI 之间的交互。数据集包含有以下字段: conversations:包含一系列对话对象,每个对象都由发言者(from)和发言内容(value)组成。 from:表示对话的角色,可以是"human"(人类)或"gpt"(机器),表示是谁说的这句话。
mox #obs存放数据路径 obs_code_dir= "obs://<bucket_name>/llm_train" obs_data_dir= "obs://<bucket_name>/training_data" obs_model_dir= "obs://<bucket_name>/model"
参数说明 表1 get_train_instance_types参数说明 参数 是否必选 参数类型 描述 session 是 Object 会话对象,初始化方法请参考Session鉴权。 表2 get_framework_list成功响应参数说明 参数类型 描述 List 引擎规格参数列表,请参见表3。
10 JOBSTAT_COMPLETED,作业已经完成。 11 JOBSTAT_FAILED,作业运行失败。 12 JOBSTAT_KILLED,作业取消成功。 13 JOBSTAT_CANCELED,作业取消。 14 JOBSTAT_LOST,作业丢失。 15 JOBSTAT_SCALING,作业正在扩容。
Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/training-jobs/autosearch/yaml-templates/{algorithm_type}/{algorithm_name} 表1 路径参数 参数
Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/training-jobs/{training_job_id}/autosearch-trials/{trial_id} 表1 路径参数 参数 是否必选 参数类型 描述
Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/training-jobs/{training_job_id}/autosearch-trials 表1 路径参数 参数 是否必选 参数类型 描述 project_id
Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/training-jobs/{training_job_id}/autosearch-trial-earlystop/{trial_id} 表1 路径参数 参数 是否必选
SDK下载文件目标路径设置为文件名,部署服务时报错 问题现象 ModelArts SDK在OBS下载文件时,目标路径设置为文件名,在本地IDE运行不报错,部署为在线服务时报错。 代码如下: session.obs.download_file(obs_path, local_path) 报错信息如下: 2022-07-06
SRC_DATA_PATH=${imagenet数据集在obs中分享链接} OBSUTIL_PATH=https://${bucket_name}.obs.cn-north-4.myhuaweicloud.com/${folder_name}/obsutil_linux_amd64.tar.gz
ssh文件夹,选择“属性”。然后单击“安全”页签。 单击“高级”,在弹出的高级安全设置界面单击“禁用继承”, 在弹出的“阻止继承”窗口单击“从此对象中删除所有继承的权限”。此时所有用户都将被删除。 添加所有者:在同一窗口中,单击“添加”,在弹出的新窗口中,单击“主体”后面的“选择主体”
", "origin_source" : "s3://test-obs/classify/data/animals/8.jpg", "new_source" : "obs://test-obs/classify/output/7PoIhUzSk92OglQrTxr/Data/8
Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/training-jobs/{training_job_id}/metrics/{task_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
https://cneast3-modelarts-sdk.obs.cn-east-3.myhuaweicloud.com/tailor-0.3.4-py3-none-any.whl SHA-256: https://cneast3-modelarts-sdk.obs.cn-east-3.myhuaweicloud
Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/training-jobs/{training_job_id}/tasks/{task_id}/logs/preview 表1 路径参数 参数 是否必选 参数类型 描述
Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/training-jobs/{training_job_id}/tasks/{task_id}/save-image-job 表1 路径参数 参数 是否必选 参数类型
准备模型代码包和权重文件 将OBS中的模型权重和表1获取的AscendCloud-3rdLLM-6.3.905-xxx.zip代码包上传到Notebook的工作目录/home/ma-user/work/下。上传代码参考如下。 import moxing as mox obs_dir = "