检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
提交数据质量作业API 功能介绍 该接口用于提交数据质量作业并进行离线计算。 URI POST /v1/{project_id}/data-quality 参数说明请参见表1。 表1 URI参数说明 名称 是否必选 类型 说明 project_id 是 String 项目编号,用
提交数据质量作业 提交数据质量作业API 查询全局特征配置 父主题: 作业相关API
提交排序任务API 功能介绍 用于提交排序训练作业。 URI POST /v1/{project_id}/rank-job 参数说明请参见表1。 表1 URI参数说明 名称 是否必选 类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方法请参见获取项目ID。
提交过滤作业 功能介绍 该接口用于提交过滤作业并进行离线计算。 URI POST /v1/{project_id}/filter-job 参数说明请参见表1。 表1 URI参数说明 名称 是否必选 类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方法请参见获取项目ID。
提交排序作业 提交排序任务API 查询ModelArts服务AK/SK 关联AK/SK到ModelArts服务 查询ModelArts计算节点规格 父主题: 作业相关API
用户操作行为表USER_BEHAVIOR 通用格式GENERAL_FORMAT 数据格式请参见推荐系统离线数据源。 data_source_url 是 String 数据源路径,最大长度1000字符。 data_format 是 String 数据格式,可选值:csv、parquet、json、orc。
输出流DIS通道名称。该通道用于存放由行为数据和画像库计算生成的排序预处理数据,以供模型训练。通道中的数据属于流式训练作业产生的中间数据,使用者只需指定通道名称,无需往该通道发送或获取数据。 starting_offsets 是 String 读取DIS数据的起始位置,LATEST表示从最新的数据开始读取。 表10
是否必选 参数类型 说明 data_source 是 JSON 请参见表10,数据源参数。 实时流近线任务支持的推荐标准数据为用户操作行为表。 data_source_config 是 JSON 请参见表12,数据源参数配置。 algorithm_config 是 JSON 请参见表13,算法参数配置。
离线数据和近线实时数据如何配合使用? 在推荐系统初始化阶段,需要用户提供批量的离线数据源并按照推荐系统要求的数据格式上传至OBS,完成数据的检测和导入。 近线实时数据源推荐使用RES SDK上传,此操作所有的数据更新都是实时生效的。 父主题: 数据源
提交召回作业 功能介绍 该接口用于提交召回作业。 URI POST /v1/{project_id}/recall-job 参数说明请参见表1。 表1 URI参数说明 名称 是否必选 类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方法请参见获取项目ID。
请参见表9。 data_source 是 List 算法数据源配置 INITIAL_PROFILES_GENERATION,数据源选择通用模板数据, BUILD_RANK_UNIFORM_DATA_FROM_JSON,数据源选择通用格式。 storage 是 JSON 请参见表6,存储平台。
数据导入 数据导入介绍 数据导入即读取经过“数据结构”生成的数据,对每条数据进行校验。推荐系统保留字段需校验类型和数据合法性、自定义字段校验类型,输出错误报告。如果数据完全符合要求,会生成推荐系统所需要的宽表和画像数据。 宽表:推荐系统内部格式,以行为数据为主,将行为数据中涉及到的用户数据和物品数据整合成一条数据。
提交效果评估任务 功能介绍 该接口用于提交推荐效果评估任务。 URI POST /v1/{project_id}/evaluate 参数说明请参见表1。 表1 URI参数说明 名称 是否必选 类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方法请参见获取项目ID。
提交特征工程作业 提交特征工程作业 查询全局特征配置 父主题: 作业相关API
// 配置上传的数据 PutRecordsRequest putRecordsRequest = new PutRecordsRequest(); putRecordsRequest.setStreamId(streamId); List<PutRecordsRequestEntry>
数据质量管理 数据结构 数据导入 数据探索 父主题: 数据源管理
数据探索 数据探索介绍 数据探索是针对当前数据源的数据进行挖掘和分析,主要聚焦在特征的分布范围、统计以及特征齐全度等,使用户能够更了解数据,进而指导在特征工程以及相关算法的配置。 数据探索是一个离线分析任务,任务有对应的启动时间,由于增量数据会实时入库,因此可以通过定时执行数据探索任务来覆盖增量数据。
数据质量 数据质量检测算子,是用户在进行离线计算之前使用原始初始格式数据(离线数据源中的离线数据)或者通用格式数据检测输入数据是否合法。包括离线数据中是否包含特殊字符,数据类型是否正确,是否缺少必备信息等。 前提条件 已将离线数据上传至OBS桶中。 创建数据质量作业 创建数据质量操作步骤如下:
"error_msg": "The content for the request is invalid." } 状态码 状态码请参见状态码。 父主题: 提交数据质量作业
在使用RES之前,首先您需要创建一个数据源,后续的操作都是基于您创建的数据源进行的。 上传实时数据 RES通过SDK上传实时数据,进行数据计算和处理,更新用户的相关数据。 数据质量管理 数据质量管理操作可以将数据源经过数据特征抽取,生成推荐系统内部通用的数据格式。 修改或删除数据源 对您已经创建的数据源进行修改,对不需要的数据源进行删除。