检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
lora_70b.sh和0_pl_lora_13b.sh 。 修改模型训练脚本中的超参配置,必须修改的参数如表1所示。其他超参均有默认值,可以参考表1按照实际需求修改。 表1 必须修改的训练超参配置 参数 示例值 参数说明 ORIGINAL_TRAIN_DATA_PATH /ho
其中,-C、-D、-P,-h参数属于全局可选参数。 -C表示在执行此命令时可以手动指定鉴权配置文件,默认使用~/.modelarts/ma-cli-profile.yaml配置文件; -P表示鉴权文件中的某一组鉴权信息,默认是DEFAULT; -D表示是否开启debug模式(默认关闭),当开启
ers/batch-delete 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 workforce_id 是 String 标注团队ID。 请求参数 表2 请求Body参数 参数 是否必选
export USE_VOCAB_PARALLEL=1 # 是否使用词表并行;默认值为1表示开启并行,取值为0表示关闭并行。对于词表较小的模型(如llama2系模型),关闭并行可以减少推理时延,对于词表较大的模型(如qwen系模型),开启并行可以减少显存占用,以提升推理吞吐量。
s > Training Job > New...”。 图1 选择作业配置 在弹出的对话框中,设置训练作业相关参数,详细参数说明请参见表1。 表1 训练作业配置参数说明 参数 说明 Job Name 训练作业的名称。 系统会自动生成一个名称,您可以根据业务需求重新命名,命名规则如下:
String 训练作业选择的资源规格,请参考查询资源规格列表 train_instance_count 是 int 训练作业计算节点个数。 framework_type 否 String 训练作业选择的引擎规格,请参考查询引擎规格列表。 framework_version 否 String
lora_70b.sh和0_pl_lora_13b.sh 。 修改模型训练脚本中的超参配置,必须修改的参数如表1所示。其他超参均有默认值,可以参考表1按照实际需求修改。 表1 必须修改的训练超参配置 参数 示例值 参数说明 ORIGINAL_TRAIN_DATA_PATH /ho
tement可以有多个,表示不同的授权项。 图1 策略结构 策略参数 下面介绍策略参数详细说明。了解策略参数后,您可以根据场景自定义策略。具体可以参考文档自定义策略使用样例。 表3 策略参数说明 参数 含义 值 Version 策略的版本。 1.1:代表基于策略的访问控制。 Statement:策略的授权语句
4206”时,表示QPS请求数量达到限制,建议等待限流结束后再重启服务。 实例数 设置服务器个数。设置多个实例可提高总QPS,“总QPS=单实例QPS x 实例数”。 更多选项 事件通知 选择是否打开“事件通知”开关。 开关关闭(默认关闭):表示不启用消息通知服务。 开关打开:表示订阅消
length。 --workers:设置数据处理使用执行卡数量 / 启动的工作进程数。 --log-interval:是一个用于设置日志输出间隔的参数,表示输出日志的频率。在训练大规模模型时,可以通过设置这个参数来控制日志的输出。 输出数据预处理结果路径: 训练完成后,以 llama2-13b
使用Grafana查看AOM中的监控指标:使用Grafana等可视化工具来查看与分析,Grafana支持灵活而又复杂多样的监控视图和模板,为用户提供基于网页仪表面板的可视化监控效果,使用户更加直观地查看到实时资源使用情况。 Grafana可以满足绝大部分情况下用户的诉求。将Grafana的数据源配置
orkspace_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 workspace_id 是 String 工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“
s/{workforce_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 workforce_id 是 String 标注团队ID。 请求参数 表2 请求Body参数 参数 是否必选
d} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 worker_id 是 String 标注团队成员ID。 workforce_id 是 String 标注团队ID。 请求参数 表2 请求Body参数
任务。 硬盘空间:至少200GB。 Ascend资源规格: Ascend: 1*ascend-snt9b表示Ascend单卡。 Ascend: 8*ascend-snt9b表示Ascend 8卡。 购买并开通资源 如果使用DevServer资源,请参考DevServer资源开通,
任务。 硬盘空间:至少200GB。 Ascend资源规格: Ascend: 1*ascend-snt9b表示Ascend单卡。 Ascend: 8*ascend-snt9b表示Ascend 8卡。 购买并开通资源 如果使用DevServer资源,请参考DevServer资源开通,
Integer 部署进度,当状态是deploying时,返回此参数。 表2 real-time config结构 参数 参数类型 描述 model_id String 模型ID。“model_id”可以通过查询模型列表或者ModelArts管理控制台获取。 model_name String
参数说明请参见表1。如果您对模型预测结果满意,可根据界面提示调用接口访问在线服务。 目前只支持jpg、jpeg、bmp、png格式的图片。 图2 预测结果 表1 预测结果中的参数说明 参数 说明 predicted_label 表示图片预测的标签。 scores 表示Top5标签的预测置信度。
空间 > Notebook”,进入“Notebook”列表页面。 单击“创建”,进入“创建Notebook”页面,请参见如下说明填写参数。 填写Notebook基本信息,包含名称、描述、是否自动停止,详细参数请参见表1。 表1 基本信息的参数描述 参数名称 说明 “名称” Not
团队的不同成员,或者指派给其他标注团队。 登录ModelArts管理控制台,在左侧菜单栏中选择“资产管理 >数据集”,打开数据集列表。 在数据集列表中,选择支持团队标注的数据集,单击数据集名称进入数据集概览页。 在数据集概览页页面,右侧的“标注任务”区域,可查看此数据集已有的标注