检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据探索是什么?近线实时数据如何在数据探索中的报告体现? 数据探索是针对当前数据源的数据进行挖掘和分析,主要聚焦在特征的分布范围、统计以及特征齐全度等,使用户能够更了解数据,进而指导在特征工程以及相关算法的配置。 数据探索是一个离线分析任务,任务有对应的启动时间,由于近线实时数据会实时入库
数据质量管理 数据结构 数据导入 数据探索 父主题: 数据源管理
用户需要自己手工创建整理这些表并存储到OBS上。 每张表的表结构必须符合推荐系统的要求,列名和字段类型需要和规范中保持一致(参考下面的表结构说明)。 每张表中填充的数据,必须符合推荐引擎的要求。 对于业务数据中无法提供的字段可以填NULL。 用户属性表 用户属性表记录用户的属性信息,例如地域、爱好等,属性名和属性值成对出现。
数据源如何收费? 数据源的收费包括三项。 “OBS存储”:将离线数据源上传至OBS进行存储,根据存储空间大小进行计费。详见OBS计费详情。 “画像数据”:在数据源导入数据成功后,按每小时每百万条画像进行计费,在删除数据源后,将停止计费。 “训练作业”:在创建离线作业和导入实时数据
请参见获取项目名称、项目ID、区域ID。 获取需要上传通道的ID(streamId)。 单击近线数据源的“详情” 图1 获取通道ID 上传实时数据,示例代码如下,其中,“streamId”的配置值要与步骤2中“通道ID”的值一致。 1 2 3 4 5 6 7 8
可以登录OBS管理控制台创建OBS桶,并在您创建的OBS桶中创建文件夹,然后再进行数据的上传。创建OBS桶和上传文件夹的操作指导请参见创建桶和上传对象。 您在创建OBS桶时,需保证您的OBS桶与RES在同一个区域。 父主题: 数据源
全局特征信息文件 在特征工程、在线模块,近线模块时都会用到该全局的特征信息文件。当上传的数据中的特征有变化时,用户需要同步更新该文件。该文件为JSON格式,包含特征名、特征大类、特征值类型。 表1 全局特征信息文件字段描述 字段名 类型 描述 是否必选 user_features
请参见获取项目名称、项目ID、区域ID。 获取需要上传通道的ID(streamId)。 单击近线数据源的“详情” 图1 获取通道ID 上传实时数据,示例代码如下,其中,“streamId”的配置值要与步骤2中“通道ID”的值一致。 1 2 3 4 5 6 7 8
用户报表:根据不同数据格式展示用户数据的类型、最大值和最小值。您可以单击相关数据后的查看数据的详细信息。 百分位数:将数据进行排序,统计该数据在整个数据中所占的百分比。 图2 百分位数 分布统计:通过查看分布统计了解各参数下参数值的分布情况。如可以根据性别展示数据中的性别数据分布。可通过查看标签,了解数据中各种标签的分布情况。
每一个属性的数据格式、统计所有行为,然后保存解析生成的数据格式。 前提条件 已按照创建离线数据源操作指导完成数据源的创建。 操作步骤 登录RES管理控制台,在左侧菜单栏中选择“数据源”,进入“数据源”列表页面。单击目标数据源名称进入数据源详情页面。 在“执行步骤”页签,单击“数据
画像:画像分为用户画像和物品画像,分别用于存储用户输入的用户特征和物品特征。如果同一用户或物品有多条记录,将会按照用户ID或者物品ID去重。 前提条件 已按照创建离线数据源操作指导完成数据源的创建。 已完成数据结构识别和人工复核确认。 操作步骤 在“执行步骤”页签,单击数据导入下的“执行”。进入“导入”页面
离线数据和近线实时数据如何配合使用? 在推荐系统初始化阶段,需要用户提供批量的离线数据源并按照推荐系统要求的数据格式上传至OBS,完成数据的检测和导入。 近线实时数据源推荐使用RES SDK上传,此操作所有的数据更新都是实时生效的。 父主题: 数据源
实时数据能否立即应用到推荐场景? 需要确认关联的召回策略,近线召回可以,离线召回不可以。离线召回需要重新执行。 父主题: 数据源
推荐系统OBS文件夹规范 使用推荐系统时,需要在OBS创建桶并导入离线数据,同时作业所产生的数据也会保存在OBS中。为了方便您快速定位文件路径,建议您按照如下结构准备数据创建文件夹,并上传至OBS桶。 OBS文件夹示例 自定义OBS桶名 │ obs-offline-data
Service,简称OBS)存储RES的推荐数据源,实现安全、高可靠和低成本的存储需求。OBS的更多信息请参见《对象存储服务文档》。 数据接入服务 数据接入服务(Data Ingestion Service,简称DIS)提供推荐数据源的实时日志。DIS的更多信息请参见《数据接入服务文档》。
Service,简称OBS)存储RES的推荐数据源,实现安全、高可靠和低成本的存储需求。OBS的更多信息请参见《对象存储服务文档》。 数据接入服务 数据接入服务(Data Ingestion Service,简称DIS)提供推荐数据源的实时日志。DIS的更多信息请参见《数据接入服务文档》。
数据格式规范 推荐系统OBS文件夹规范 离线数据源 实时日志 全局特征信息文件 父主题: 用户指南(旧版)
在“test-data”文件夹下,将behavior.txt中的每条数据的actionTime字段的值修改到当前时间附近。将item.txt中的每条数据的publishTime字段的值修改到当前时间附近,将item.txt中的每条数据的expireTime字段的值修改成大于当前时间的值,避免数据因为过期被过滤掉。
在“test-data”文件夹下,将behavior.txt中的每条数据的actionTime字段的值修改到当前时间附近。将item.txt中的每条数据的publishTime字段的值修改到当前时间附近,将item.txt中的每条数据的expireTime字段的值修改成大于当前时间的值,避免数据因为过期被过滤掉。
能,可以帮助您安全的控制华为云资源的访问。 通过IAM,您可以在华为云账号中给员工创建IAM用户,并使用策略来控制他们对华为云资源的访问范围。例如您的员工中有负责软件开发的人员,您希望他们拥有RES的使用权限,但是不希望他们拥有删除RES任务等高危操作的权限,那么您可以使用IAM