检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
son数据,即内部通用格式。 默认选择初始格式 时间选择 时间选择包括数据时间和行为时间跨度。 数据时间:用于匹配在起始时间和终止时间内的行为数据。 行为时间跨度:指定历史行为时间段,选取数据中最靠后的时间往前N天的行为数据计算用户偏好。建议至少设置30天。 默认选择数据时间的当月所有数据
是否需要重新执行任务。 以上功能,我们也可以使用数据治理中心 DataArts Studio,通过拖拽的方式完成配置。具体操作步骤如下: 登录数据治理中心 DataArts Studio管理控制台,在控制台的左侧导航栏,选择“数据开发 > 作业开发”。 在“工作区”页面的右侧,单击“新建作业”。
RES的离线数据源包括什么? 离线数据包括如下几张表: 用户属性表 物品属性表 用户操作行为表 每张表的字段描述和规范详情请参见《推荐系统用户指南》中准备离线数据源章节。 父主题: 数据源
选择提前已经存储在OBS上的如下数据源: 用户属性表 物品属性表 用户操作行为表 如上数据表的数据格式规范请参见离线数据源。 在对应表的“数据源”列中,单击选择数据的OBS存储路径。 在对应表的“数据格式”列中,数据格式可选:csv/json。 当选择数据格式为csv时,在弹框中设置数据参数,具体参数如下:
计算引擎信息,选择指定服务名、集群名称、任务配置地址、资源名等信息。 数据源 数据源类型有初始格式和通用格式可以选择。 “初始格式” 用户操作行为表:初始数据中的用户操作行为表。 “通用格式” 通用格式数据:特征工程“初始用户画像-物品画像-标准宽表生成”算子生成的用户推荐系统的数据。从用户特征表、物品特征表以及用户
次或在7天内消费超过3次的物品。 数据源 数据源可选择初始格式或通用格式。 说明: 过滤规则涉及历史行为过滤,则用到用户操作行为表,需要选取目标数据进行过滤。 “初始格式” 用户操作行为表:初始数据中的用户操作行为表。 “通用格式” 通用格式数据:特征工程“初始用户画像-物品画像
GiB”、“16核|128GiB”。 训练数据的obs路径 特征工程排序样本预处理生成的训练数据所在的OBS路径。 即特征工程“排序样本预处理”结果保存路径下具体的训练文件路径。 测试数据的obs路径 特征工程排序样本预处理生成的测试数据所在的OBS路径。 即特征工程“排序样本预
“是”:清空上一轮的模型结果后重新开始训练。 “否”:导入上一轮的训练结果继续训练。适用于欠拟合的情况。 批量大小 一次训练所选取的样本数。 训练数据集切分数量 将整个数据集切分成多个子数据集,依次训练,每个epoch训练一个子数据集。 AutoGroup AutoGroup,使用自
数据结构 当数据源创建完成,您可以进入数据源详情页面进行数据质量管理操作。数据质量管理操作可以将离线数据源经过数据特征抽取,生成推荐系统内部通用的数据格式。经过数据质量检测来确保数据的合法性。 数据结构介绍 数据结构步骤的主要目的是读取用户上传的离线数据,解析用户特征和物品特征中
电商场景中,通常涉及首页推荐、购物车推荐、买了又买等推荐场景,但各个子场景的运营规则均不一致。 RES提供一站式电商推荐解决方案,在一套数据源下,支持多种电商推荐场景,提供面向电商推荐场景的多种推荐相关算法和大数据统计分析能力。 场景优势 能够精确匹配电商运营规则。 最近邻算法与深度学习的结合,挖掘用户高维稀疏特征,匹配最佳推荐结果。
单击目标报表名称查看具体报表信息。 图1 查看报表 用户报表:根据不同数据格式展示用户数据的类型、最大值和最小值。您可以单击相关数据后的查看数据的详细信息。 百分位数:将数据进行排序,统计该数据在整个数据中所占的百分比。 图2 百分位数 分布统计:通过查看分布统计了解各参数下参数值的分布情
数据导入 数据导入介绍 数据导入即读取经过“数据结构”生成的数据,对每条数据进行校验。推荐系统保留字段需校验类型和数据合法性、自定义字段校验类型,输出错误报告。如果数据完全符合要求,会生成推荐系统所需要的宽表和画像数据。 宽表:推荐系统内部格式,以行为数据为主,将行为数据中涉及到的用户数据和物品数据整合成一条数据。
实时数据能否立即应用到推荐场景? 需要确认关联的召回策略,近线召回可以,离线召回不可以。离线召回需要重新执行。 父主题: 数据源
修改或删除数据源 您可以对离线数据源进行重新编辑操作来更新数据源,如果该数据源不再使用,您可以删除数据源释放资源。 修改离线数据源 前提条件 已存在的离线数据源有修改或者更新并已经上传至OBS。 只有在数据源数据结构特征抽取人工复核确认之前才允许修改数据源。 注意事项 修改编辑之
训练集测试集划分方式 数据划分方式按时间比例或个数比例划分训练集测试集。 “时间比例”:将全部数据的时间跨度按照时间比例划分成两段数据,训练数据为前一段时间中的数据,测试数据为后一段时间的数据,取值TIME。 “个数比例”:个数比例是将全部数据按个数比例随机划分成训练集和测试集传入值。取值RAMDOM。
数据源如何收费? 数据源的收费包括三项。 “OBS存储”:将离线数据源上传至OBS进行存储,根据存储空间大小进行计费。详见OBS计费详情。 “画像数据”:在数据源导入数据成功后,按每小时每百万条画像进行计费,在删除数据源后,将停止计费。 “训练作业”:在创建离线作业和导入实时数据
如何查看RES消费详情? 在“费用中心”,您可以根据需求按照账期、产品类型等查询RES的消费详情。本章节以查询“账单详情”为例指导您查看计费情况,如需了解更多的账单情况,请参见查看费用账单。 查询方法: 在“费用中心”中,选择“账单管理>流水和明细账单”,在流水和明细账单页面,切换“流水账单”和“明细账单”页签。
汇总存储,供离线计算。 数据源管理流程及功能简介 表1 功能介绍 功能 说明 准备离线数据源 请您按照推荐系统要求的数据格式准备用户数据,物品数据,行为数据。 上传离线数据源至OBS 将准备的离线数据源上传至对象存储服务(OBS)用于推荐系统的离线计算。 创建离线数据源 在使用R
删除指定工作空间。 查询规格 查询训练规格 查询当前推荐系统所提供的离线计算规格,实时计算规格和排序模型训练规格。在创建数据源和场景时,需要提供此信息。 数据源 创建数据源 在指定的工作空间下面创建一个新的数据源。 查询数据源列表 查询当前工作空间下的数据源列表。 查询数据源详情 查询指定数据源的详情信息。
推荐系统OBS文件夹规范 使用推荐系统时,需要在OBS创建桶并导入离线数据,同时作业所产生的数据也会保存在OBS中。为了方便您快速定位文件路径,建议您按照如下结构准备数据创建文件夹,并上传至OBS桶。 OBS文件夹示例 自定义OBS桶名 │ obs-offline-data