检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在“创建数据质量”页面,单击“添加数据质量算子”选择“数据质量检测算子”。 填写基本信息并选择计算引擎。您可以根据实际情况填写“名称”、“场景”和“描述”信息。其中“场景”信息可选择您在全局配置页面创建的场景。 填写参数配置,参数说明请参见表1。 图1 创建数据质量检测作业 表1 数据质量检测算子参数说明 参数名称 说明
数据探索 数据探索介绍 数据探索是针对当前数据源的数据进行挖掘和分析,主要聚焦在特征的分布范围、统计以及特征齐全度等,使用户能够更了解数据,进而指导在特征工程以及相关算法的配置。 数据探索是一个离线分析任务,任务有对应的启动时间,由于增量数据会实时入库,因此可以通过定时执行数据探索任务来覆盖增量数据。
查询数据源任务结果 功能介绍 查询指定数据源下离线任务的结果。其中包括数据格式,数据检测、数据探索及效果评估的内容。 调试 您可以在API Explorer中调试该接口。 URI GET /v2.0/{project_id}/workspaces/{workspace_id}/d
预测接口 功能介绍 线上预测接口。 URI POST 服务部署成功后返回的预测地址。 请求消息 请求参数请参见表1 请求参数说明。 表1 请求参数说明 参数名称 是否必选 参数类型 说明 rec_num 否 Integer 请求返回数量,默认返回50条。 user_id 是 String
当数据源创建完成,您可以进入数据源详情页面进行数据质量管理操作。数据质量管理操作可以将离线数据源经过数据特征抽取,生成推荐系统内部通用的数据格式。经过数据质量检测来确保数据的合法性。 数据结构介绍 数据结构步骤的主要目的是读取用户上传的离线数据,解析用户特征和物品特征中每一个属性的数据格式、统计所有行为,然后保存解析生成的数据格式。
数据导入 数据导入介绍 数据导入即读取经过“数据结构”生成的数据,对每条数据进行校验。推荐系统保留字段需校验类型和数据合法性、自定义字段校验类型,输出错误报告。如果数据完全符合要求,会生成推荐系统所需要的宽表和画像数据。 宽表:推荐系统内部格式,以行为数据为主,将行为数据中涉及到的用户数据和物品数据整合成一条数据。
产品功能 数据源 数据源功能可以在用户上传数据后,将离线数据源经过数据特征抽取,生成推荐系统内部通用的数据格式。经过数据质量检测来确保数据的合法性。提供数据源智能检测,输出数据分布和数据质量信息等,智能完成特征工程。 智能场景 根据业务场景选择对应的智能推荐场景,快速搭建专属推荐系统。
自定义场景(热度推荐) RES提供了推荐算法,让用户能够根据场景自定义推荐策略,可以基于RES提供的多种召回、排序算法等进行自定义的推荐场景创建。 本章节介绍热度推荐场景的搭建样例,该场景常见于电商或者视频网站首页的排行榜或者畅销榜等。 上述推荐场景在RES的自定义场景通过简单配
产品价格详情 03 使用 推荐系统对离线数据进行质量检测,然后将检测合格的数据通过特征工程处理为可用于召回策略、过滤规则、排序策略、近线策略的数据。通过上述作业训练出可用于在线服务的推荐候选集。当在线作业运行完成,您可以通过效果评估检测推荐结果。 使用推荐系统 推荐系统操作流程 准备工作
离线数据和近线实时数据如何配合使用? 在推荐系统初始化阶段,需要用户提供批量的离线数据源并按照推荐系统要求的数据格式上传至OBS,完成数据的检测和导入。 近线实时数据源推荐使用RES SDK上传,此操作所有的数据更新都是实时生效的。 父主题: 数据源
选集。 用户通过数据质量作业对离线数据进行质量检测,然后将检测合格的数据通过特征工程处理为可用于召回策略、过滤规则、排序策略、近线作业的数据。通过上述离线作业训练出可用于在线服务的推荐候选集。当在线服务运行完成,您可以通过效果评估检测推荐结果。 离线作业功能说明 表1 功能说明 离线作业
召回策略 召回是指对大量的物品做初选,为每一个用户形成个性化侯选集。召回策略是指通过大数据计算或深度训练生成推荐候选集的算法策略。召回策略中内置了多种召回方式,您可根据自己场景选择。 基于综合行为热度推荐 基于综合行为热度推荐统计用户对物品所有行为的加权热度。如果选择用户分群,将
召回策略 召回是指对大量的物品做初选,为每一个用户形成个性化侯选集。召回策略中内置了多种召回方式,用户可根据自己场景选择。召回策略对应流程请参见图1。 图1 召回策略 推荐系统支持的召回方式有: 基于特定行为热度推荐 基于综合行为热度推荐 基于物品的协同过滤推荐 基于用户的协同过滤推荐
传至OBS。 只有在数据源数据结构特征抽取人工复核确认之前才允许修改数据源。 注意事项 修改编辑之后的离线数据源需要重新进行数据结构抽取和检测、探索等操作。 操作步骤 登录RES管理控制台,在左侧菜单栏中选择“数据源”,进入数据源列表页面。 在数据源列表单击目标数据源名称,进入数据源详情页面。
修改数据源特征 修改数据源中的特征。 删除数据源 删除数据源。 查询数据源任务结果 查询指定数据源下离线任务的结果。其中包括数据格式,数据检测、数据探索及效果评估的内容。 场景 创建自定义场景 在指定工作空间下面创建自定义场景。 创建智能场景 在指定工作空间下面创建智能场景。 查询场景详情
创建智能场景 猜你喜欢主要应用于浏览意向不明确,如首页推荐等,RES能够根据用户的长短期行为表现出来的兴趣进行学习与训练,结合长短期兴趣进行个性化推荐。 关联推荐主要应用于固定的物品的关联推荐,根据已关联的物品对相关的内容和行为进行挖掘,网状匹配相关联的物品,进行有关联度的推荐。
应用场景 推荐系统支持深度智能挖掘用户和物品的关联关系,将对应场景的推荐结果推送给用户,代替低纬度的人工规则,提升了相关运营指标和用户的体验。包含了互联网信息流,短视频/直播/音乐/阅读,广电媒资,社交,电商等场景。 RES+电商应用场景 场景描述 电商场景中,通常涉及首页推荐、
RES根据实时发送到DIS上的日志,进行数据计算和处理,更新用户的相关数据。 实时日志 运行推荐策略 创建离线作业 创建离线作业包括进行数据质量检测、创建组合作业、特征工程、召回策略、排序策略、过滤规则等作业。 运行推荐作业 创建在线服务 - 创建在线服务用于部署上线服务、更新模型。配
创建自定义场景 自定义场景基于用户群体不同推荐场景的需求,提供了多种多样的推荐策略和算法,实现了端到端的自定义推荐场景搭建,使每一个推荐场景都能得到针对性的推荐效果提升。 前提条件 已经存在创建成功并完成数据探索的数据源。 由于训练作业运行需消耗资源,确保账户未欠费。 确保您使用的OBS目录与RES在同一区域。
对第一个节点进行查询作业详情的配置。查询作业详情参数请参见查询作业详情API。 对第二节点进行重新执行作业的配置。重新执行作业详情参数请参见重新执行作业的API。 当检测到近线任务(实时流任务)失败时,才会进行第二个节点的作业。 单击“保存”后,进行“测试运行”。确保功能正常。 在页面右侧,单击“调度配置”