检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实时日志 RES根据实时发送到DIS上的日志,进行数据计算和处理,更新用户的相关数据。用户发送到DIS上的数据具体如下: 实时行为日志 实时行为日志的作用包括: 更新用户的兴趣标签。 记录所选行为类型的历史记录。 更新用户的上下文信息。 召回候选集。 表1 实时行为日志字段描述 字段名
上传实时数据 RES通过DIS SDK上传实时数据,用户实时日数据并做近线处理。当前仅支持Java语言的SDK,示例请参见《数据接入服务SDK参考》。 前提条件 如果需要使用近线上传实时数据的用户,可以使用DIS SDK接口上传,请您按照需求下载DIS SDK,下载完之后按照下面的说明进行SDK升级。
如何上传实时数据? 推荐系统支持您通过SDK上传实时数据,具体操作方法如下。 前提条件 如果需要使用近线上传实时数据的用户,可以使用DIS SDK接口上传,请您按照需求下载DIS SDK,下载完之后按照下面的说明进行SDK升级。 子账户无法使用SDK上传数据,需要主账号授权子账号DIS
RES电商推荐 RES+媒资应用场景 场景描述 媒资推荐场景中,通常对实时性要求比较高,用户产生的行为需要得到即时的反馈,同时结合用户的长期兴趣和短期兴趣进行个性化推荐。 RES提供一站式媒资推荐解决方案,支持针对行为数据实时生成用户的兴趣标签,提供离线、近线、在线三层计算,完成千人千面的个性化媒资推荐。
提交实时流近线作业 功能介绍 该接口用于提交实时流作业并进行近线计算。 URI POST /v1/{project_id}/nearline-job 参数说明请参见表1。 表1 URI参数说明 名称 是否必选 类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方法请参见获取项目ID。
实时数据能否立即应用到推荐场景? 需要确认关联的召回策略,近线召回可以,离线召回不可以。离线召回需要重新执行。 父主题: 数据源
离线数据和近线实时数据如何配合使用? 在推荐系统初始化阶段,需要用户提供批量的离线数据源并按照推荐系统要求的数据格式上传至OBS,完成数据的检测和导入。 近线实时数据源推荐使用RES SDK上传,此操作所有的数据更新都是实时生效的。 父主题: 数据源
如何确定近线数据源导入实时数据成功? 近线数据源上传成功后,可在推荐系统控制台的“数据源”直接查看。 父主题: 数据源
数据探索是什么?近线实时数据如何在数据探索中的报告体现? 数据探索是针对当前数据源的数据进行挖掘和分析,主要聚焦在特征的分布范围、统计以及特征齐全度等,使用户能够更了解数据,进而指导在特征工程以及相关算法的配置。 数据探索是一个离线分析任务,任务有对应的启动时间,由于近线实时数据会实时入库,因
口,不会被再次推荐。 功能说明 该功能使用涉及两部分:实时行为数据的接入和在线服务配置行为过滤。当数据源部分开启近线行为实时接入之后,并且用户通过上传实时行为数据,系统才具备根据实时行为进行曝光过滤的功能,该部分可参考上传实时数据进行配置和对接。 本实践的基本流程如下: 准备工作
基于物品数据更新物品画像 流式训练 可上传3份数据至DIS:实时行为日志、实时用户日志和实时物品日志,如实时日志所示。 实时行为日志会被“基于行为数据的用户画像更新”和“基于用户的标签搜索候选集”使用; 实时用户日志会被“基于用户数据更新用户画像”使用; 实时物品日志会被“基于物品数据更新物品画像”使用。
参数名称 说明 实时计算规格 可选择“4CU”、“8CU”、“16CU”和“32CU”四种规格。 用户画像实时导入 通过SDK导入通道中存储的用户画像实时数据。详情参见上传实时数据。在“用户画像实时导入”右侧,单击打开按钮,在弹出的对话框中进行确认。 物品画像实时导入 通过SDK
查询训练规格 功能介绍 查询当前推荐系统所提供的离线计算规格,实时计算规格和排序模型训练规格。在创建数据源和场景时,需要提供此信息。 调试 您可以在API Explorer中调试该接口。 URI GET /v2.0/{project_id}/resource-specs 表1 路径参数
数据源 RES的离线数据源包括什么? 如何上传数据至OBS 如何上传实时数据? 离线数据和近线实时数据如何配合使用? 数据探索是什么?近线实时数据如何在数据探索中的报告体现? 如何确定近线数据源导入实时数据成功? 实时数据能否立即应用到推荐场景?
务器的时间大于该时间时,此物品将不会被推荐。如不设置,代表永不失效。 否 同时,expireTime字段和status字段一样,都可以通过实时数据推送方式,进行字段的更新。该字段为非必选,如不传入,则不会进行失效处理。 示例: 配置新闻在上架五天后进行自动下架。 物品JSON数据:
征齐全度等,使用户能够更了解数据,进而指导在特征工程以及相关算法的配置。 数据探索是一个离线分析任务,任务有对应的启动时间,由于增量数据会实时入库,因此可以通过定时执行数据探索任务来覆盖增量数据。 操作步骤 在“执行步骤”页签,单击数据探索下的“执行”。进入“数据探索”页面,确认
于被集成。 实时更新,具备实时更新能力,更快反馈用户的精准需求。 降低成本,减少人力支出投入。 自定义场景 基于用户历史行为计算物品相似性,实时更新候选列表,提升用户体验,提高转化率支持多种召回、过滤、排序算子自由组合,训练形式上支持离线批处理、近线流处理、在线实时处理的三种数据
在使用RES创建数据源时,您需要准备以下的3种基础数据包并上传至OBS。如果使用近线流程,需先将业务系统埋点日志转换成推荐系统指定格式,并实时写入DIS相应通道。本章节介绍了RES当前离线数据源和近线数据源的数据格式,您可以参考本章节说明,准备相应的数据。 目前数据源只支持JSO
情。 “画像数据”:在数据源导入数据成功后,按每小时每百万条画像进行计费,在删除数据源后,将停止计费。 “训练作业”:在创建离线作业和导入实时数据均需要选取训练规格,根据训练规格大小进行计费。 如果需要数据源停止计费,请先终止近线数据源的导入,删除对应数据源和对应OBS中的数据存储。
需要您准备包含用户类数据,物品类数据,行为数据以及推荐候选列表的离线数据源用于推荐系统的离线计算。 离线数据源 准备实时日志数据 RES根据实时发送到DIS上的日志,进行数据计算和处理,更新用户的相关数据。 实时日志 运行推荐策略 创建离线作业 创建离线作业包括进行数据质量检测、创建组合作业、特征工程、召回策略、排序策略、过滤规则等作业。