检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择提前已经存储在OBS上的如下数据源: 用户属性表 物品属性表 用户操作行为表 如上数据表的数据格式规范请参见离线数据源。 在对应表的“数据源”列中,单击选择数据的OBS存储路径。 在对应表的“数据格式”列中,数据格式可选:csv/json。 当选择数据格式为csv时,在弹框中设置数据参数,具体参数如下:
用户操作行为表USER_BEHAVIOR 通用格式GENERAL_FORMAT 数据格式请参见推荐系统离线数据源。 data_source_url 是 String 数据源路径,最大长度1000字符。 data_format 是 String 数据格式,可选值:csv、parquet、json、orc。
务。 组合作业 数据质量 数据质量是用户在进行离线计算之前使用原始初始格式数据或者通用格式数据检测输入数据是否合法。 数据质量 特征工程 特征工程常用于抽取用户、物品的特征和特定算法的特征生成,一般作为某些算法的前置输入条件。 特征工程 召回策略 召回策略用于生成推荐的候选集,在
的物品。 数据源 数据源可选择初始格式或通用格式。 说明: 过滤规则涉及历史行为过滤,则用到用户操作行为表,需要选取目标数据进行过滤。 “初始格式” 用户操作行为表:初始数据中的用户操作行为表。 “通用格式” 通用格式数据:特征工程“初始用户画像-物品画像-标准宽表生成”算子生成
即特征工程“排序样本预处理”结果保存路径下具体的测试文件路径。 特征值数量统计文件 该文件标识了每一个域下的特征数量,排序数据处理接口会生成这个文件,需要用户提供此文件完整路径。文件路径为特征工程中排序样本预处理作业输出数据的结果保存路径的“fields_feature_size”目录下文件名称是part-00
数据质量 数据质量检测算子,是用户在进行离线计算之前使用原始初始格式数据(离线数据源中的离线数据)或者通用格式数据检测输入数据是否合法。包括离线数据中是否包含特殊字符,数据类型是否正确,是否缺少必备信息等。 前提条件 已将离线数据上传至OBS桶中。 创建数据质量作业 创建数据质量操作步骤如下:
计算引擎信息,选择指定服务名、集群名称、任务配置地址、资源名等信息。 数据源 数据源类型有初始格式和通用格式可以选择。 “初始格式” 用户操作行为表:初始数据中的用户操作行为表。 “通用格式” 通用格式数据:特征工程“初始用户画像-物品画像-标准宽表生成”算子生成的用户推荐系统的数据。从用户特征表、物品特征表以及用户
数据探索 数据探索介绍 数据探索是针对当前数据源的数据进行挖掘和分析,主要聚焦在特征的分布范围、统计以及特征齐全度等,使用户能够更了解数据,进而指导在特征工程以及相关算法的配置。 数据探索是一个离线分析任务,任务有对应的启动时间,由于增量数据会实时入库,因此可以通过定时执行数据探索任务来覆盖增量数据。
请您按推荐系统要求准备离线数据源。 开通OBS服务,确保您使用的OBS目录与RES在同一区域。 已经获取访问密钥(AK/SK)。 通过OBS管理上传数据 本文档中,采用管理控制台上传数据至OBS。 执行如下操作,将数据导入到您的数据集中,以便用于模型训练和构建。 登录OBS管理控制台,在RE
“推荐引擎”:推荐引擎用于对RES召回策略生成的候选集结果进行融合过滤和排序。 “排序引擎”:排序引擎无需配置召回策略,允许用户提供自己的候选集,使用RES的排序策略进行排序。 数据源 从右侧下拉框中选择RES系统中已有的数据源。当无可用数据源时,此下拉框为空。 数据区间 时间单位 支持天和小时。 数据选择 指定
数据质量管理 数据结构 数据导入 数据探索 父主题: 数据源管理
如果没有添加访问密钥,则无法调用接口。 获取访问秘钥并添加RES全局配置 属性配置 以键值对的方式进行存储,配置后的配置项可以用于整个服务。 管理属性配置 计算资源 计算资源包括DLI服务,添加的计算资源需根据业务数据情况进行合理分配。 管理计算资源 父主题: 全局配置
rank_conf参数说明 参数名称 是否必选 参数类型 说明 model_path 否 String 排序策略生成的模型在obs的文件路径。 etl_uuid 否 String 特征工程中生成排序训练样本生成的uuid。 is_attrWeight_rank 否 Boolean 是否配置属性排序。 表10
召回策略 召回策略通过大数据计算或深度训练生成推荐候选集。 召回策略 过滤规则 过滤规则用于生成推荐的过滤集,包含黑白名单、历史行为过滤等特性。支持用户在线上推理过程中完成对相关物品的过滤。 过滤规则 特征工程 特征工程常用于抽取用户、物品的特征和特定算法的特征生成,一般作为某些算法的前置输入条件。
全局特征信息文件 用户在使用近线策略之前,需要提供全局特征信息文件,该文件为JSON格式,包含特征名、特征大类、特征值类型。当上传的数据中的特征有变化时,需要同步更新该文件。全局特征信息文件示例请参考全局特征信息文件。 - 异常数据输出路径 单击右侧的按钮,选择数据在OBS中的存
响应参数请参见表2。 表2 响应参数说明 参数名称 是否必选 参数类型 说明 result 是 String 一个由抽取出来的无序的关键词集合生成的字符串,以空格连接。 示例 请求示例 { "mode":"keywords", "title":[ "在
准备离线数据源 在使用RES创建数据源时,您需要准备以下的3种基础数据包并上传至OBS。如果使用近线流程,需先将业务系统埋点日志转换成推荐系统指定格式,并实时写入DIS相应通道。本章节介绍了RES当前离线数据源和近线数据源的数据格式,您可以参考本章节说明,准备相应的数据。 目前数
站的视频。 召回策略 召回策略是指通过大数据计算或深度训练生成推荐候选集的算法策略。 过滤规则 过滤规则用于生成推荐的过滤集,包含黑白名单、 特征过滤等特性。支持用户在线上推理过程中完成对相关物品的过滤。 特征工程 特征工程常用于对原始数据进行特征挖掘的处理,形成的结果用于排序策略的训练。
如何上传实时数据? 推荐系统支持您通过SDK上传实时数据,具体操作方法如下。 前提条件 如果需要使用近线上传实时数据的用户,可以使用DIS SDK接口上传,请您按照需求下载DIS SDK,下载完之后按照下面的说明进行SDK升级。 子账户无法使用SDK上传数据,需要主账号授权子账号DIS
查询数据源任务结果 功能介绍 查询指定数据源下离线任务的结果。其中包括数据格式,数据检测、数据探索及效果评估的内容。 调试 您可以在API Explorer中调试该接口。 URI GET /v2.0/{project_id}/workspaces/{workspace_id}/d