检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据格式规范 推荐系统OBS文件夹规范 离线数据源 实时日志 全局特征信息文件 父主题: 用户指南(旧版)
物品是否可推荐、是否置顶、是否注销,默认值为0。 0:可推荐 1:不可推荐 2:置顶 -1:注销 否 同时,可以通过实时更新的方式,更新物品身上的status字段,实现秒级状态字段更新,来控制物品的上下架状态。具体操作指导可参考上传实时数据进行配置和对接。 父主题: 灵活配置物品状态和过期时间,保障有效性和实效性
征齐全度等,使用户能够更了解数据,进而指导在特征工程以及相关算法的配置。 数据探索是一个离线分析任务,任务有对应的启动时间,由于增量数据会实时入库,因此可以通过定时执行数据探索任务来覆盖增量数据。 操作步骤 在“执行步骤”页签,单击数据探索下的“执行”。进入“数据探索”页面,确认
在使用RES创建数据源时,您需要准备以下的3种基础数据包并上传至OBS。如果使用近线流程,需先将业务系统埋点日志转换成推荐系统指定格式,并实时写入DIS相应通道。本章节介绍了RES当前离线数据源和近线数据源的数据格式,您可以参考本章节说明,准备相应的数据。 目前数据源只支持JSO
(可选)开通数据接入资源DIS 在使用推荐系统之前,数据接入服务(Data Ingestion Service,简称DIS)采集用户实时日志,在计算引擎中消费实时日志并做近线处理。 登录华为云。在华为云“产品”页签,选择“大数据>数据接入服务DIS”,进入DIS产品页。单击“进入控制台”,开始使用DIS。
情。 “画像数据”:在数据源导入数据成功后,按每小时每百万条画像进行计费,在删除数据源后,将停止计费。 “训练作业”:在创建离线作业和导入实时数据均需要选取训练规格,根据训练规格大小进行计费。 如果需要数据源停止计费,请先终止近线数据源的导入,删除对应数据源和对应OBS中的数据存储。
数据源管理 数据源管理简介 准备离线数据源 上传离线数据源至OBS 上传实时数据 创建离线数据源 导入近线数据源 数据质量管理 修改或删除数据源
作业相关API 提交组合作业 提交召回作业 提交过滤作业 提交特征工程作业 提交排序作业 提交实时流近线作业 提交流式训练作业 提交数据质量作业 策略参数说明 停止算子作业 查询作业列表 查询作业详情 重新执行作业 删除作业 提交效果评估任务 查询效果指标 编辑修改作业 更新索引结构
场景式推荐 提供多维度的场景推荐,含猜你喜欢、关联推荐、热门推荐,一键式操作,降低客户接入门槛。 近线处理能力 支持实时数据的接入和更新、模型在线学习,近线处理实时训练兴趣模型。 全面的推荐实体 支持以用户推荐物品、以用户推荐用户、以物品推荐物品、以物品推荐用户四种全面的推荐对象,用户根据场景选择不同的推荐实体。
关联推荐主要应用于固定的物品的关联推荐,根据已关联的物品对相关的内容和行为进行挖掘,网状匹配相关联的物品,进行有关联度的推荐。 热门推荐主要应用于当前用户浏览最多的物品内容,如实时搜索量前几的新闻或者物品。 前提条件 已经存在创建成功并完成数据探索的数据源。 由于作业运行需消耗资源,确保账户未欠费。 创建智能场景 登
自定义场景(热度推荐) 05 实践 根据用户的离线历史数据,推荐系统通过模型训练和召回策略,对用户数据进行初选、融合、过滤、排序。通过用户实时的行为日志进行分析并更新用户数据,得到更优候选集。 RES实践样例 使用RES完成电商推荐 04 API 通过RES开放的API和调用示例
针对对应的场景,由RES根据场景类型预置好对应的智能算法,为匹配的场景提供智能推荐服务。 智能场景功能说明 表1 功能说明 功能 说明 详细指导 猜你喜欢 推荐系统结合用户实时行为,推送更具针对性的内容,实现“千人千面”。 创建智能场景 关联推荐 基于大规模机器学习算法,深度挖掘物品之间的联系,自动匹配精准内容。
RES电商推荐 RES+媒资应用场景 场景描述 媒资推荐场景中,通常对实时性要求比较高,用户产生的行为需要得到即时的反馈,同时结合用户的长期兴趣和短期兴趣进行个性化推荐。 RES提供一站式媒资推荐解决方案,支持针对行为数据实时生成用户的兴趣标签,提供离线、近线、在线三层计算,完成千人千面的个性化媒资推荐。
job_type 是 String 作业类型: WriteUserProfile,用户画像实时导入作业 WriteItemProfile,物品画像实时导入作业 UniversalProcess,行为数据实时导入作业 NearlineRecall,近线召回作业 EncodeProfile,近线特征工程作业
job_type 是 String 作业类型: WriteUserProfile,用户画像实时导入作业 WriteItemProfile,物品画像实时导入作业 UniversalProcess,行为数据实时导入作业 NearlineRecall,近线召回作业 EncodeProfile,近线特征工程作业
多信息请参见《对象存储服务文档》。 数据接入服务 数据接入服务(Data Ingestion Service,简称DIS)提供推荐数据源的实时日志。DIS的更多信息请参见《数据接入服务文档》。 统一身份认证服务 统一身份认证服务(Identity and Access Manag
基于物品相似度的实时召回 基于物品相似度的实时召回策略是根据用户短时间内行为数据(如购买,收藏,内容评论或分享),通过牛顿冷却定律对相关行为的初始权重进行衰减和汇总,从而找出用户该时间段内感兴趣的物品,结合物品的相似度信息进行关联推荐。 表10 基于物品相似度的实时召回参数说明 参数名称
多信息请参见《对象存储服务文档》。 数据接入服务 数据接入服务(Data Ingestion Service,简称DIS)提供推荐数据源的实时日志。DIS的更多信息请参见《数据接入服务文档》。 统一身份认证服务 统一身份认证服务(Identity and Access Manag
义场景进行创建,“在线配置”参数可参考3进行配置。 获取推荐结果 配置完成后,参考获取推荐结果章节,手动触发一些行为,并且行为通过近线通道实时传至RES,然后在接口中再次预测,查看物品是否被成功打散,避免同一属性物品扎堆出现。 父主题: 运营策略提升推荐结果多样性
服务名称。 description 否 String 服务描述信息。 infer_type 是 String 服务类型,real-time表示实时服务。 status 是 String 服务状态,deploying、running、stopped、concerning。 is_shared