检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
TEXT Training job framework version. --workspace-id TEXT The workspace where you submit training job(default "0") --policy
infer_type String 推理方式，取值包含： real-time：在线服务 batch：批量服务 edge: 边缘服务 workspace_id String 工作空间ID。 cluster_id String 在线/批量服务使用的专属资源池ID或边缘服务使用的边缘资源
WorkflowStep objects Workflow工作流包含的步骤定义。 user_name String 创建Workflow工作流的用户名。 workspace_id String 工作空间ID。 data_requirements Array of DataRequirement objects
请在正常状态的工作空间创建资源。 400 ModelArts.7005 workspace:{workspace} not existed 该工作空间不存在 请确认传输的工作空间ID是否存在。 400 ModelArts.7006 workspace number over limit, limit:
”实例。 图1 选择指标源 通过“全量指标”或“按普罗语句添加”方式选择一个或多个关注的指标。 图2 添加指标 关于更多指标浏览方法请参考华为云帮助中心“应用运维管理 AOM> 用户指南（2.0）> 指标浏览”。 容器级别的指标介绍 表1 容器级别的指标 分类 名称 指标 指标含义
te modelarts:trainJob:get modelarts:trainJob:logExport modelarts:workspace:getQuotas（如果开通了工作空间功能，则需要配置此权限。） 从本地VSCode连接云上的Notebook实例、提交训练作业等。
with_labels 否 Boolean 返回数据集的标签。可选值如下： true：返回标签信息 false：不返回标签信息（默认值） workspace_id 否 String 工作空间ID。未创建工作空间时默认值为“0”，存在创建并使用的工作空间，以实际取值为准。 dataset_version
推理性能测试 benchmark方法介绍 性能benchmark包括两部分。 静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试：评估在请求并发在一定范围内波动
推理性能测试 benchmark方法介绍 性能benchmark包括两部分。 静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试：评估在请求并发在一定范围内波动
语言模型推理性能测试 benchmark方法介绍 性能benchmark包括两部分。 静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试：评估在请求并发在一定范
查询作业排列顺序，默认为“desc”，降序排序。也可以选择对应的“asc”，升序排序。 group_by String 查询作业要搜索的分组条件。 workspace_id String 作业所处的工作空间，默认值为“0”。 ai_project String 作业所属的AI项目，默认值为"default-ai-project"。
推理性能测试 本章节介绍如何进行推理性能测试，建议在Notebook的JupyterLab中另起一个Terminal，执行benchmark脚本进行性能测试。如果需要在生产环境中进行推理性能测试，请通过调用接口的方式进行测试。 约束限制 创建在线服务时，每秒服务流量限制默认为10
推理性能测试 本章节介绍如何进行推理性能测试，建议在Notebook的JupyterLab中另起一个Terminal，执行benchmark脚本进行性能测试。如果需要在生产环境中进行推理性能测试，请通过调用接口的方式进行测试。 约束限制 创建在线服务时，每秒服务流量限制默认为10
WorkforceDescriptor object 团队标注信息。 workforce_task_count Integer 数据集的团队标注任务数量。 workspace_id String 工作空间ID。未创建工作空间时默认值为“0”，存在创建并使用的工作空间，以实际取值为准。 表4 DataSource
推理精度测试 本章节介绍两个精度测评工具。如何使用opencompass工具开展语言模型的推理精度测试，数据集是ceval_gen、mmlu_gen、math_gen、gsm8k_gen、humaneval_gen；以及使用lm-eval工具开展语言模型的推理精度测试，数据集包含
训练作业ID，创建成功后由ModelArts生成返回，无需填写。 name String 训练作业名称。限制为1-64位只含数字、字母、下划线和中划线的名称。 workspace_id String 指定作业所处的工作空间，默认值为“0”。 description String 对训练作业的描述，默认为“NULL”，字符串的长度限制为[0
训练作业ID，创建成功后由ModelArts生成返回，无需填写。 name String 训练作业名称。限制为1-64位只含数字、字母、下划线和中划线的名称。 workspace_id String 指定作业所处的工作空间，默认值为“0”。 description String 对训练作业的描述，默认为“NULL”，字符串的长度限制为[0
of ModelDependencies objects 推理代码及模型需安装的包，默认为空。从配置文件读取，可不填。非模板参数 workspace_id 否 String 工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”，存在创建并使用的工作空间，以实际取值为准。
参数 是否必选 参数类型 描述 name 是 String 训练作业名称。限制为1-64位只含数字、字母、下划线和中划线的名称。 workspace_id 否 String 指定作业所处的工作空间，默认值为“0”。 description 否 String 对训练作业的描述，默认为“NULL”，字符串的长度限制为[0
训练作业ID，创建成功后由ModelArts生成返回，无需填写。 name String 训练作业名称。限制为1-64位只含数字、字母、下划线和中划线的名称。 workspace_id String 指定作业所处的工作空间，默认值为“0”。 description String 对训练作业的描述，默认为“NULL”，字符串的长度限制为[0
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
