检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/v1/{project_id}/models 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 model_name 否 String 模型名称,可支持模糊匹配。 exact_match
in/processed_for_input/llama2-13b/data/pretrain/ 微调数据集预处理参数说明 微调包含SFT和LoRA微调。数据集预处理脚本参数说明如下: --input:原始数据集的存放路径。 --output-prefix:处理后的数据集保存路径
描述 dataset_id 是 String 数据集ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 status 否 Integer 数据集版本状态。可选值如下: 0:创建中 1:运行中
in/processed_for_input/llama2-13b/data/pretrain/ 微调数据集预处理参数说明 微调包含SFT和LoRA微调。数据集预处理脚本参数说明如下: --input:原始数据集的存放路径。 --output-prefix:处理后的数据集保存路径
登录ModelArts-Console 在ModelArts中,一般用户使用数据标注功能,直接是在“数据标注”模块操作,此模块包含数据标注、数据导入导出、智能标注、团队标注和管理等。团队标注任务创建成功后,团队成员登录ModelArts-Console查看相关任务。 团队标注任务创建成功后,团队成员收到标注任务的邮件。
描述 dataset_id 是 String 数据集ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 workforce_task_id 是 String 团队标注任务ID。 表2 Query参数 参数 是否必选 参数类型 描述 sample_state
等,常用的工具软件,例如cuda,cudnn等,满足AI开发常用需求。 预置Conda环境:每个预置镜像都会创建一个相对应的Conda环境和一个基础Conda环境python(不包含任何AI引擎),如预置MindSpore所对应的Conda环境如下。 用户可以根据是否使用AI引擎
方式三:使用Python语言发送预测请求。 方式四:使用Java语言发送预测请求。 约束限制 调用API访问在线服务时,对预测请求体大小和预测时间有限制: 请求体的大小不超过12MB,超过后请求会被拦截。 因APIG(API网关)限制,平台每次请求预测的时间不超过40秒。 前提条件
字符,必须为大小写字母,数字和“!@#$%^&*_=|?/':.;,”其中的某一字符。 否 str sample_label_separator 文本与标签之间的分隔符,默认为Tab键分隔,分隔符需转义。分隔符仅支持一个字符,必须为大小写字母,数字和“!@#$%^&*_=|?/':
ults 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 task_id 是 String 数据处理任务ID。 version_id 是 String 数据处理任务的版本ID。 表2 Query参数
logs 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 service_id 是 String 服务ID。 表2 Query参数 参数 是否必选 参数类型 描述 update_time 否
k8s Cluster运行的,需要购买并开通k8s Cluster资源。 准备代码 准备AscendSpeed训练代码、分词器Tokenizer和推理代码。 准备数据 准备训练数据,可以用本案使用的数据集,也可以使用自己准备的数据集。 准备镜像 准备训练模型适用的容器镜像。 预训练 预训练
“S3_VERIFY_SSL=0” S3_USE_HTTPS 访问OBS是否使用HTTPS。 “S3_USE_HTTPS=1” 表5 PIP源和API网关地址环境变量 变量名 说明 示例 MA_PIP_HOST PIP源域名。 “MA_PIP_HOST=repo.myhuaweicloud
_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 resource_id 是 String 资源ID,当前支持传数据集ID。 task_id 是 String 导出任务ID。 请求参数
AI Gallery订阅”。 搜索“图像分类-ResNet_v1_50工作流”,单击“订阅”,勾选“我已同意《数据安全与隐私风险承担条款》和《华为云AI Gallery服务协议》”,单击“继续订阅”即可完成工作流的订阅。订阅过的工作流会显示“已订阅”。 运行工作流 订阅完成后,单
一个ConditionStep支持多个Condition对象,使用list表示,多个Condition之间进行&&操作。 if_then_steps和else_then_steps。 if_then_steps表示的是当Condition比较的结果为true时允许执行的节点列表,存储的是节
3T左右。 创建文件存放目录 在每台Server机器上创建一个目录${path-to-file},例如:/home/data/,用于存放权重文件和rank_table_file.json文件。 方式一:直接获取HuggingFace社区已经转换完成的BF16权重 通过下述地址直接下载H
对目录,最后得到的路径为"/root/执行ID/directory_path" 进阶用法 Storage 该对象是InputStorage和OutputStorage的基类,包含了两者的所有能力,可以供用户灵活使用。 属性 描述 是否必填 数据类型 name 名称。 是 str title
描述 dataset_id 是 String 数据集ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 export_type 否 Integer 导出类型,不传则默认查询所有类型的导出任务。可选值如下:
model_instance = Model(session, model_id="your_model_id") 方式2:创建模型 基于预置镜像和OBS路径创建模型 1 2 3 4 5 6 7 8 9 10 11 12 13 model_location = "/yo