检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
什么是推荐系统 推荐系统(Recommender System,简称RES) ,基于华为大数据和人工智能技术,提供推荐平台和算法服务,并帮助企业构建个性化推荐应用,助力提升网站/APP的点击率、留存率和用户体验。 RES优势 开放式推荐 提供完整的推荐平台和原子推荐算法,不绑定客
Z构建高可用性系统的需求。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前,华为云已在全球多个地域开放云服务,您可以根据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。 如何选择区域? 选择区域时,您需要考虑以下几个因素: 地理位置 一般情况下,建议就
面向了解推荐算法等相关的用户,可自定义推荐中涉及算法的使用和组合,能够自定义开发推荐流程,提供推荐服务。 用户 推荐系统被推荐的对象,一般是指使用业务系统的客户。例如,某电商的客户。 物品 被推荐的内容,一般是指业务系统提供的给其用户的商品。例如,某视频网站的视频。 召回策略 召回策略是指通过大数据计算或深度训练生成推荐候选集的算法策略。
例如:当系统DAU为10W,并且推荐接口在登录首页时触发,在线服务一般可配置为10TPS。 计费模式 RES目前提供按需、预付套餐包共2种计费方式。 按需购买:这种购买方式比较灵活,可以即开即停。 预付套餐包:客户预先购买一定的资源使用量配额,在按需使用过程中,系统优先扣减配额
计算资源:用于推荐作业的计算规格。涉及计费功能包含:数据源、自定义场景、智能场景中的离线计算和模型训练。 存储资源:用于推荐系统数据存储规格。涉及计费功能包括:数据源。 在线服务:用于推荐系统在线推理,获得最终推荐结果。 套餐介绍 计算资源分为“计算型CPU(1U4G)实例”、“计算型GPU(P1
数据源功能可以在用户上传数据后,将离线数据源经过数据特征抽取,生成推荐系统内部通用的数据格式。经过数据质量检测来确保数据的合法性。提供数据源智能检测,输出数据分布和数据质量信息等,智能完成特征工程。 智能场景 根据业务场景选择对应的智能推荐场景,快速搭建专属推荐系统。主要应用为猜你喜欢、关联推荐、热门推荐。
是否有样例数据支撑我进一步了解RES? RES提供了可用来测试的全量数据,包括智能场景和自定义场景的样例测试。 智能场景的样例测试,可参见智能场景(猜你喜欢)。 自定义场景的样例测试,可参见自定义场景(热度推荐)。 父主题: 基础问题
合实际需求进行选择,RES支持的系统权限,请参见:RES系统权限。如果您需要对除RES之外的其它服务授权,IAM支持服务的所有权限请参见权限策略。 示例流程 图1 给用户授权RES权限流程 创建用户组并授权 在IAM控制台创建用户组,并授予推荐系统服务只读权限“RES ReadOnlyAccess”。
NFO为画像表中定义的基本属性字段,TAGS为画像表中定义的带权重的标签,Context为上下文属性。该文件用于说明数据字段信息,以便推荐系统识别用户离线数据,通过特征工程将对应的数据写入到画像中,同时用于排序训练和线上推理服务中使用。 文件数据信息请参见全局特征信息文件数据格式。
应用场景 推荐系统支持深度智能挖掘用户和物品的关联关系,将对应场景的推荐结果推送给用户,代替低纬度的人工规则,提升了相关运营指标和用户的体验。包含了互联网信息流,短视频/直播/音乐/阅读,广电媒资,社交,电商等场景。 RES+电商应用场景 场景描述 电商场景中,通常涉及首页推荐、
创建在线服务 在线服务负责分析结果的应用过程,泛指部署线上服务后提供的推理服务,对外提供API接口。在推荐系统中,包含推荐引擎、文本标签、排序三种在线服务,具体说明如下: 推荐引擎 推荐引擎用于对RES召回策略跑出来的候选集结果进行融合过滤和排序。 文本标签 文本标签服务为用户提
AM用户被授予的策略中必须包含允许“ecs:servers:list”的授权项,该接口才能调用成功。 支持的授权项 策略包含系统策略和自定义策略,如果系统策略不满足授权要求,管理员可以创建自定义策略,并通过给用户组授予自定义策略来进行精细的访问控制。策略支持的操作与API相对应,授权项列表说明如下:
与其他云服务的关系 表1 RES与其他服务的关系 相关服务 交互功能 数据湖探索 数据湖探索(Data Lake Insight,简称DLI)用于推荐系统的离线计算和近线计算。DLI的更多信息请参见《数据湖探索文档》。 对象存储服务 对象存储服务(Object Storage Service
是独立的。即根据不同的离线计算得到的候选集以及相关参数,提供不同的推荐服务。 在线服务 效果评估 指用于通过推荐系统推荐出去的结果集并利用trace_id回流到推荐系统的行为的点击率、转化率等指标的计算。 效果评估 父主题: 自定义场景
如表1所示,包括了RES的所有系统权限。 表1 RES系统策略 系统策略名称 描述 类别 RES FullAccess 推荐系统服务管理员权限,拥有该权限的用户可以操作并使用所有推荐系统服务。 系统策略 RES ReadOnlyAccess 推荐系统服务只读权限,拥有该权限的用户仅能查看推荐系统服务数据。
选择”页签。 填写组合作业相关配置参数,请参见表1。 表1 创建组合作业参数说明 模块 参数名称 说明 计算引擎 服务名 计算引擎用于推荐系统的离线计算和近线计算。默认DLI。 集群名称 选择“资源中心”绑定的DLI集群名称。 任务配置地址 在创建作业时, 会自动生成一个JSON
数据质量是用户在进行离线计算之前使用原始初始格式数据或者通用格式数据检测输入数据是否合法。 数据质量 特征工程 特征工程常用于抽取用户、物品的特征和特定算法的特征生成,一般作为某些算法的前置输入条件。 特征工程 召回策略 召回策略用于生成推荐的候选集,在原始数据中通过算法和规则匹配用户的候选集。 召回策略 排序策略
召回是指对大量的物品做初选,为每一个用户形成个性化侯选集。召回策略中内置了多种召回方式,用户可根据自己场景选择。召回策略对应流程请参见图1。 图1 召回策略 推荐系统支持的召回方式有: 基于特定行为热度推荐 基于综合行为热度推荐 基于物品的协同过滤推荐 基于用户的协同过滤推荐 基于交替最小二乘的矩阵分解推荐
近线作业 近线作业简介 近线作业为推荐系统提供实时计算能力。近线作业以数据接入服务DIS中的数据为数据源,实时计算并更新用户画像、物品画像和推荐候选集等数据。使用近线作业,用户需先将业务系统埋点日志转换成实时日志指定格式,并实时写入DIS相应通道。近线作业具体实现请参见图1。 图1
特征工程 特征工程可对推荐系统的离线数据进行处理,它包含两个功能: 从离线数据中提取用户、物品画像和RES内部通用格式数据; 把RES内部通用格式数据处理成训练排序模型所需的训练数据、测试数据等。 与功能对应,特征工程的两个任务分别是: 初始用户画像-物品画像-标准宽表生成 排序样本预处理