检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
全局特征信息文件 在特征工程、在线模块,近线模块时都会用到该全局的特征信息文件。当上传的数据中的特征有变化时,用户需要同步更新该文件。该文件为JSON格式,包含特征名、特征大类、特征值类型。 表1 全局特征信息文件字段描述 字段名 类型 描述 是否必选 user_features
据源经过数据特征抽取,生成推荐系统内部通用的数据格式。经过数据质量检测来确保数据的合法性。 数据结构介绍 数据结构步骤的主要目的是读取用户上传的离线数据,解析用户特征和物品特征中每一个属性的数据格式、统计所有行为,然后保存解析生成的数据格式。 前提条件 已按照创建离线数据源操作指导完成数据源的创建。
使用推荐系统时,需要在OBS创建桶并导入离线数据,同时作业所产生的数据也会保存在OBS中。为了方便您快速定位文件路径,建议您按照如下结构准备数据创建文件夹,并上传至OBS桶。 OBS文件夹示例 自定义OBS桶名 │ obs-offline-data 用于存放用户行为表、用户属性表和物品属性表。
推荐系统在需要使用CloudTable集群进行数据存储,需开启公共终端节点之后推荐才能正常使用CloudTable集群。 开启公共终端节点 上传数据 准备离线数据源 需要您准备包含用户类数据,物品类数据,行为数据以及推荐候选列表的离线数据源用于推荐系统的离线计算。 离线数据源 准备实时日志数据
数据源管理 数据源管理简介 准备离线数据源 上传离线数据源至OBS 上传实时数据 创建离线数据源 导入近线数据源 数据质量管理 修改或删除数据源
数据源 RES的离线数据源包括什么? 如何上传数据至OBS 如何上传实时数据? 离线数据和近线实时数据如何配合使用? 数据探索是什么?近线实时数据如何在数据探索中的报告体现? 如何确定近线数据源导入实时数据成功? 实时数据能否立即应用到推荐场景?
物品数据,行为数据。 上传离线数据源至OBS 将准备的离线数据源上传至对象存储服务(OBS)用于推荐系统的离线计算。 创建离线数据源 在使用RES之前,首先您需要创建一个数据源,后续的操作都是基于您创建的数据源进行的。 上传实时数据 RES通过SDK上传实时数据,进行数据计算和处理,更新用户的相关数据。
Storage Service,简称OBS)进行数据源以及黑白名单和用户数据的存储。因此,在使用RES之前您需要开通OBS服务并创建桶,然后在OBS桶中上传用户数据用于推荐作业的计算。 需要存放在OBS桶中的数据包括: 离线数据源:包含用户类数据,物品类数据,行为数据以及推荐候选列表。 黑名单
离线数据源 调用RES之前,您需要准备3种基础数据包并上传至OBS,离线数据源目前支持CSV和JSON。具体数据包请参见表1 基础数据表。 表1 基础数据表 数据类型 表名 用户类数据 用户属性表 物品类数据 物品属性表 行为类数据 用户操作行为表 用户需要自己手工创建整理这些表并存储到OBS上。
数据源如何收费? 数据源的收费包括三项。 “OBS存储”:将离线数据源上传至OBS进行存储,根据存储空间大小进行计费。详见OBS计费详情。 “画像数据”:在数据源导入数据成功后,按每小时每百万条画像进行计费,在删除数据源后,将停止计费。 “训练作业”:在创建离线作业和导入实时数据
近线策略的具体功能如下: 基于行为数据的用户画像更新 基于用户的标签搜索候选集 基于用户数据更新用户画像 基于物品数据更新物品画像 流式训练 可上传3份数据至DIS:实时行为日志、实时用户日志和实时物品日志,如实时日志所示。 实时行为日志会被“基于行为数据的用户画像更新”和“基于用户的标签搜索候选集”使用;
准备离线数据源 在使用RES创建数据源时,您需要准备以下的3种基础数据包并上传至OBS。如果使用近线流程,需先将业务系统埋点日志转换成推荐系统指定格式,并实时写入DIS相应通道。本章节介绍了RES当前离线数据源和近线数据源的数据格式,您可以参考本章节说明,准备相应的数据。 目前数
是基于您创建的数据源进行的。 前提条件 已创建用于存储数据的OBS桶及文件夹,并且数据存储的OBS桶与RES在同一区域。 需要使用的数据已上传至OBS。 创建数据源 登录RES管理控制台,在左侧菜单栏中选择“数据源”,进入“数据源”列表页面。 单击“创建”,在创建数据源页面,参考表1配置相关参数。
-1:注销 否 同时,可以通过实时更新的方式,更新物品身上的status字段,实现秒级状态字段更新,来控制物品的上下架状态。具体操作指导可参考上传实时数据进行配置和对接。 父主题: 灵活配置物品状态和过期时间,保障有效性和实效性
不开启取全部数据,开启则指定从数据源中取最近天数的行为数据计算相似度。 时间跨度(天) 用于指定从数据源中取最近多少天的行为数据计算相似度。默认取全部数据。 上传物品相似度 支持客户通过obs导入自定义的相似度信息。相似度文件格式为json, 其中subject为用户或物品, relations为与
Integer 请求返回数量,默认返回50条。 user_id 是 String 用户ID。 rank_items 是 List 用户自己上传的候选集列表。 响应消息 响应参数请参见表2-响应参数说明。 表2 响应参数说明 参数名称 是否必选 参数类型 说明 is_success
使每一个推荐场景都能得到针对性的推荐效果提升。 前提条件 已经存在创建成功并完成数据探索的数据源。 由于训练作业运行需消耗资源,确保账户未欠费。 确保您使用的OBS目录与RES在同一区域。 基本信息 登录RES管理控制台,在左侧导航栏中选择“推荐业务>自定义场景”,默认进入“自定义场景”列表。