检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ss使用humaneval数据集时，需要执行模型生成的代码。请仔细阅读human_eval/execution.py文件第48-57行的注释，内容参考如下。了解执行模型生成代码可能存在的风险，如果接受这些风险，请取消第58行的注释，执行下面步骤5进行评测。 # WARNING #
NodePoolSpec object 更新节点池的请求体。 表4 NodePoolSpec 参数 是否必选 参数类型 描述 resources 是 PoolResource object 节点池中的资源信息列表，包括资源规格和相应规格的资源数量，自定义配置等。 表5 PoolResource
Workflow工作流的创建时间。 description String Workflow工作流的描述信息。 steps Array of WorkflowStep objects Workflow工作流包含的步骤定义。 user_name String 创建Workflow工作流的用户名。 workspace_id
strings 导出的样本ID列表。 search_conditions Array of SearchCondition objects 导出的筛选条件，多个条件之间是或(OR)关系。 train_sample_ratio String 指定发布版本时训练集-验证集的切分比例，默认为1
Workflow工作流的创建时间。 description String Workflow工作流的描述信息。 steps Array of WorkflowStep objects Workflow工作流包含的步骤定义。 user_name String 创建Workflow工作流的用户名。 workspace_id
Workflow工作流的创建时间。 description String Workflow工作流的描述信息。 steps Array of WorkflowStep objects Workflow工作流包含的步骤定义。 user_name String 创建Workflow工作流的用户名。 workspace_id
查询onnx模型的输入信息。 # 查询onnx模型的输入信息 t.get_model_input_info() 图1 查询onnx模型的输入输出信息 查询onnx模型的输出信息。 # 查询模型的输出信息 t.get_model_output_info() 图2 查询onnx模型的输出信息
Integer 已完成的样本数量。 path String 导出的输出路径。 progress Float 任务当前进度百分比。 status String 任务状态。 task_id String 任务ID。 total_count Integer 导出任务的总数量。 total_sample_count
数据集版本名称。 with_column_header Boolean 发布的CSV文件的第一行是否为列名，对于表格数据集有效。可选值如下： true：发布的CSV文件的第一行是列名 false：发布的CSV文件的第一行不是列名 表3 LabelStats 参数 参数类型 描述 attributes
静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试：评估在请求并发在一定范围内波动，且输入输出长度也在一定范围内变化时，模型的延迟和吞吐。该场景能模拟实际业务下动态的发送不同长度请求，能评估推理框架在实际业务中能支持的并发数。
静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试：评估在请求并发在一定范围内波动，且输入输出长度也在一定范围内变化时，模型的延迟和吞吐。该场景能模拟实际业务下动态的发送不同长度请求，能评估推理框架在实际业务中能支持的并发数。
静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试：评估在请求并发在一定范围内波动，且输入输出长度也在一定范围内变化时，模型的延迟和吞吐。该场景能模拟实际业务下动态的发送不同长度请求，能评估推理框架在实际业务中能支持的并发数。
数据集版本ID。当导出数据集某一版本的数据时，需要指定该参数。 with_column_header 否 Boolean 导出时是否将列名写到CSV文件的第一行，对于表格数据集有效。可选值如下： true：导出时将列名写到CSV文件的第一行（默认值） false：导出时不将列名写到CSV文件的第一行 表3
数据集版本名称。 with_column_header Boolean 发布的CSV文件的第一行是否为列名，对于表格数据集有效。可选值如下： true：发布的CSV文件的第一行是列名 false：发布的CSV文件的第一行不是列名 表5 LabelStats 参数 参数类型 描述 attributes
表2 数据集输入位置，用于将此目录及子目录下的源数据(如图片/文件/音频等)同步到数据集。对于表格数据集，该参数为导入目录。表格数据集的工作目录不支持为KMS加密桶下的OBS路径。 work_path 是 表6 数据集输出位置，用于存放输出的标注信息等文件。 labels 否 List
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
