检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据质量管理 数据结构 数据导入 数据探索 父主题: 数据源管理
用户数据包括数据源中的“用户属性表”和用于近线计算的“用户画像”数据。用户数据记录用户的属性信息,例如地域、爱好等。 物品数据 物品数据包括数据源中的“物品属性表”和用于近线计算的“物品画像”数据。物品数据记录物品的属性信息,例如类别、长度等。 行为数据 行为数据包括数据源中的“用户操作行
管理计算资源 计算资源DLI服务,添加的计算资源需根据实情情况进行合理分配。开通DLI集群大小就是根据业务需求对集群进行扩容缩容,计算资源最多设置5个。计算资源支持的操作包括: 创建计算资源 编辑计算资源 删除计算资源 创建计算资源 登录RES管理控制台,在“全局配置”页面的计算资源区域,单击“创建”添加计算资源。
管理在线服务 您可以对在线作业进行“编辑”、“启动”、“开通”、“停止”、“删除”等操作。您也可以通过单击在线服务名称查看在线服务的详细信息。 编辑服务 用户可以通过“编辑”在线服务修改该参数信息进行计算。生成的数据会覆盖原来的在线服务计算生成的数据。“部署中”的在线服务不支持编辑。操作步骤如下:
允许删除RES的权限策略,控制他们对RES资源的使用范围。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户进行权限管理,您可以跳过本章节,不影响您使用RES服务的其它功能。 IAM是华为云提供权限管理的基础服务,无需付费即可使用,您只需要为您账号中的资源进行付费。关
权限管理 创建用户并授权使用RES RES自定义策略
数据源管理 数据源管理简介 准备离线数据源 上传离线数据源至OBS 上传实时数据 创建离线数据源 导入近线数据源 数据质量管理 修改或删除数据源
管理资源 创建资源 绑定或解绑资源 创建跨源连接 开启公共终端节点 父主题: 用户指南(旧版)
管理属性配置 属性配置以键值对的方式进行存储,配置后的配置项可以用于整个服务。该配置项的值为用户指定的OBS路径,OBS相关操作请参见创建OBS桶。 前提条件 已开通OBS服务,并按照推荐系统OBS文件夹规范建议格式创建文件夹。 已上传离线数据。 创建场景 您可以根据自己的业务创
用户可以通过编辑离线作业修改该作业的参数信息进行离线计算。生成的数据会覆盖原来的离线作业生成的数据,编辑并运行之后的离线作业会生成新的线上指定的UUID。 “启动中”、“计算中”状态的作业不支持编辑。 登录RES管理控制台,在左侧菜单栏中选择“离线作业”下的目标推荐作业,进入作业列表。
配置过期时间实现新闻的过期下架 在新闻推荐等对物料的时效性要求较高的场景,可配置物料的过期时间expireTime,设置每一条新闻的有效期,使新闻在有效期内实现可推送,超过有效期,不会被推送。 表1 物品数据中expireTime字段描述 字段名 类型 描述 是否必选 expireTime
配置物品status状态,完成物品的上下架 在推荐系统中,有一种常见的场景,最终推荐列表是否展示无库存或者已下架商品。针对此场景,RES系统在物品表中提供status字段来实现物品的上下架。 参考准备离线数据源中的物品表字段介绍,status置为0,代表该物品可被推荐。statu
当数据源创建完成,您可以进入数据源详情页面进行数据质量管理操作。数据质量管理操作可以将离线数据源经过数据特征抽取,生成推荐系统内部通用的数据格式。经过数据质量检测来确保数据的合法性。 数据结构介绍 数据结构步骤的主要目的是读取用户上传的离线数据,解析用户特征和物品特征中每一个属性的数据格式、统计所有行为,然后保存解析生成的数据格式。
使用RES需要消耗其他服务资源,需要收费。根据您选择的资源不同,收费标准不同,针对不同类型资源的价格,详情请参见产品价格详情。 已开通计算引擎DLI、存储平台CloudTable、数据接入资源DIS相关服务。 创建资源 登录RES管理控制台,在左侧菜单栏中选择“资源中心”下的目标服务,单击页面上方“ 去创建”,跳转到对应服务管理控制台。
用户报表:根据不同数据格式展示用户数据的类型、最大值和最小值。您可以单击相关数据后的查看数据的详细信息。 百分位数:将数据进行排序,统计该数据在整个数据中所占的百分比。 图2 百分位数 分布统计:通过查看分布统计了解各参数下参数值的分布情况。如可以根据性别展示数据中的性别数据分布。可通过查看标签,了解数据中各种标签的分布情况。
根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。 将RES资源委托给更专业、高效的其他华为云帐号或者云服务,这些账号或者云服务可以根据权限进行代运维。 如果华为云帐号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用RES服务的其它功能。
在弹出的确认对话框中,单击“确定”完成资源解绑。 已创建的作业和服务不会因为资源解绑影响计算和推荐结果。 直接解绑DLI,不会自动删除创建的DLI跨源连接。您需要在DLI管理控制台进行操作。 解绑资源不会删除对应的集群和数据,您需要去服务对应的管理控制台进行删除。 父主题: 管理资源
在使用RES之前,首先您需要创建一个数据源,后续的操作,如修改数据源、创建自定义推荐,都是基于您创建的数据源进行的。 前提条件 已创建用于存储数据的OBS桶及文件夹,并且数据存储的OBS桶与RES在同一区域。 需要使用的数据已上传至OBS。 创建数据源 登录RES管理控制台,在左侧菜单栏中选择“数据源”,进入“数据源”列表页面。
“调度类型”:包括自定义和间隔调度。 “开始调度时间”:选择具体的调度时间。可在此下拉框中勾选具体的时间点。 “时间间隔(小时)”:如果选择的调度类型为间隔调度,需要配置调度的时间间隔。 设置完成后,单击“确定”,重新导入数据。 父主题: 数据质量管理
在使用DLI进行推荐系统的离线和近线计算时,建议创建跨源连接,用于访问CloudTable的数据源,提高读写性能。 前提条件 已开通计算引擎DLI服务,创建集群并完成资源绑定。 创建跨源链接 DLI集群绑定完成后,创建跨源链接。步骤如下: 登录RES管理控制台,在“资源中心”页面,选择计算引擎DLI进入列表。