检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为空。如:“/usr/data/”。不可与data_source或者dataset_id/dataset_version_id同时出现,但必须有其一。 dataset_id 否 String 训练作业的数据集ID。应与dataset_version_id同时出现,但不可与data
ame/obs_file.txt', 'obs://bucket_name/obs_file_2.txt') 移动和复制操作不可以跨桶,必须在同一个桶内操作。 从OBS移动到本地,例如将“obs://bucket_name/obs_file.txt”移动到“/tmp/obs_file
于prompt-tokens。 --use-spec-decode:是否使用投机推理进行输出统计,不输入默认为false。当使用投机推理时必须开启,否则会导致输出token数量统计不正确。注:由于投机推理的性能测试使用随机输入意义不大,建议开启--dataset-type、--d
于prompt-tokens。 --use-spec-decode:是否使用投机推理进行输出统计,不输入默认为false。当使用投机推理时必须开启,否则会导致输出token数量统计不正确。注:由于投机推理的性能测试使用随机输入意义不大,建议开启--dataset-type、--d
OBS文件夹,用于存放训练输出模型,可以自定义名称,此处举例为mnist-output 创建的OBS桶所在区域和后续使用ModelArts必须在同一个区域Region,否则会导致训练时找不到OBS桶。具体操作可参见查看OBS桶与ModelArts是否在同一区域。 创建OBS桶时,
OBS文件夹,用于存放训练输出模型,可以自定义名称,此处举例为mnist-output 创建的OBS桶所在区域和后续使用ModelArts必须在同一个区域Region,否则会导致训练时找不到OBS桶。具体操作可参见查看OBS桶与ModelArts是否在同一区域。 创建OBS桶时,
model_name, model_path) 初始化方法,适用于深度学习框架模型。该方法内加载模型及标签等(pytorch和caffe类型模型必须重写,实现模型加载逻辑)。 __init__(self, model_path) 初始化方法,适用于机器学习框架模型。该方法内初始化模型的路径(self
count 是 Integer 资源规格的保障资源量。 maxCount 否 Integer 资源规格的弹性资源量。物理池中该值和count必须一致。 extendParams 否 extendParams object 自定义配置参数。 表9 extendParams 参数 是否必选
status 否 String 执行记录状态。 scene_id 否 String 场景ID。 order 否 String 排序的方式。该字段必须与sort_by同时使用。 缺省值: desc 枚举值: asc:表示升序排列, desc:降序排列。 请求参数 无 响应参数 状态码:200
本教程中用到基础镜像地址和配套版本关系如下表所示,请提前了解。 表2 基础容器镜像地址 配套软件版本 镜像用途 镜像地址 配套 获取方式 6.3.910版本 基础镜像 swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1
Integer 指定每一页返回的最大条目数,取值范围[1,100],默认为10。 locale 否 String 语言。可选值如下: zh-cn:中文 en-us:英文(默认值) low_score 否 String 置信度下界,默认为0。 offset 否 Integer 分页列表的起始页,默认为0。
Integer 指定每一页返回的最大条目数,取值范围[1,100],默认为10。 locale 否 String 语言。可选值如下: zh-cn:中文 en-us:英文(默认值) offset 否 Integer 分页列表的起始页,默认为0。 process_parameter 否
际来调整。 batch_size,推理时传入的prompts数量,可配合后面的参数适当减少 offline,是否启动离线模型,使用ppl时必须为True tp_size,使用推理的卡数 max_seq_len,推理的上下文长度,和消耗的显存直接相关,建议稍微高于prompts。其中,mmlu和ceval
已经完成购买的Server,不支持再修改企业项目,订单中暂不支持同步企业项目信息。 表8 购买配置参数说明 参数名称 说明 购买数量 支持同时购买多台机器,输入值必须在1到10之间。 若有多台机器资源,会生成对应多笔订单,需逐一支付每笔订单,不可合并支付。 单击“立即创建”,完成实例的创建,随后进入付款界面,支付对应资源的订单。
文件名中的xxx表示具体的时间戳,以包名的实际时间为准。 获取路径:Support-E 如果没有软件下载权限,请联系您所在企业的华为方技术支持下载获取。 基础镜像包 swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1
际来调整。 batch_size,推理时传入的prompts数量,可配合后面的参数适当减少 offline,是否启动离线模型,使用ppl时必须为True tp_size,使用推理的卡数 max_seq_len,推理的上下文长度,和消耗的显存直接相关,建议稍微高于prompts。其中,mmlu和ceval
请根据您导入的数据输入“列名”,同时选择此列的“类型”。其中支持的类型见表4。 单击“添加Schema信息”,即可增加一行列。创建数据集时必须指定schema,且一旦创建不支持修改。 从OBS数据源导入数据,会自动获取文件路径下csv文件的schema,如果多个csv文件的schema不一致会报错。
参数类型 描述 type String 参数种类。 editable Boolean 是否可编辑。 required Boolean 是否必须。 sensitive Boolean 是否敏感。 valid_type String 有效种类。 valid_range Array of
参数类型 描述 type String 参数种类。 editable Boolean 是否可编辑。 required Boolean 是否必须。 sensitive Boolean 是否敏感。 valid_type String 参数有效种类。 valid_range Array
登录ModelArts控制台,在“模型训练 > 训练作业”页面单击目标作业,在日志页签查看详情。 MOSS 添加数据集 选择存放训练数据集的OBS路径,必须选择到1上传的jsonl文件。 /maas-test/news/maas_demo_news.jsonl 超参设置 数据条数 输入数据集中的总数据条数。