检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练数据的obs路径 单击选择特征工程排序样本预处理生成的训练数据所在的OBS路径。 即特征工程“排序样本预处理”结果保存路径下具体的训练文件路径。 测试数据的obs路径 单击选择特征工程排序样本预处理生成的测试数据所在的OBS路径。 即特征工程“排序样本预处理”结果保存路径下具体的测试文件路径。
run_path 是 String 训练结果保存根路径,训练完成后,会将模型和日志文件保存在该路径下。不包含中文的文件夹。 training_data_path 是 String 训练数据的OBS路径。 test_data_path 是 String 测试数据的OBS路径。 algorithm_type
由于RES使用的离线数据需存储在OBS中,数据存储产生的费用,请参见《OBS价格说明》。 表1 推荐系统计费项说明 计费项 说明 存储资源 应用于物品画像和用户画像的存储计费,对用户和物品的总条目数统计进行收费。 每个数据源默认规格最低是一百万条,如果一个数据源中的用户和物品总条
实时日志 RES根据实时发送到DIS上的日志,进行数据计算和处理,更新用户的相关数据。用户发送到DIS上的数据具体如下: 实时行为日志 实时行为日志的作用包括: 更新用户的兴趣标签。 记录所选行为类型的历史记录。 更新用户的上下文信息。 召回候选集。 表1 实时行为日志字段描述 字段名
发推荐流程,提供推荐服务。 用户 推荐系统被推荐的对象,一般是指使用业务系统的客户。例如,某电商的客户。 物品 被推荐的内容,一般是指业务系统提供的给其用户的商品。例如,某视频网站的视频。 召回策略 召回策略是指通过大数据计算或深度训练生成推荐候选集的算法策略。 过滤规则 过滤规则用于生成推荐的过滤集,包含黑白名单、
选择提前已经存储在OBS上的如下数据源: 用户属性表 物品属性表 用户操作行为表 如上数据表的数据格式规范请参见离线数据源。 在对应表的“数据源”列中,单击选择数据的OBS存储路径。 在对应表的“数据格式”列中,数据格式可选:csv/json。 当选择数据格式为csv时,在弹框中设置数据参数,具体参数如下:
序。 数据源 从右侧下拉框中选择RES系统中已有的数据源。当无可用数据源时,此下拉框为空。 数据区间 时间单位 支持天和小时。 数据选择 指定历史行为时间段,选取数据中最靠后的时间往前N天或N小时的行为数据计算用户偏好。 物品类别 是否需要根据category值对原始数据进行过滤
什么是区域、可用区? 什么是区域、可用区? 使用用区域和可用区来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region
以获得更好的推荐结果。 以上功能,我们也可以使用数据治理中心 DataArts Studio,通过拖拽的方式完成配置。具体操作步骤如下: 登录数据治理中心 DataArts Studio管理控制台,在控制台的左侧导航栏,选择“数据开发 > 作业开发”。 在“工作区”页面的右侧,单击“新建作业”。
召回策略 召回策略通过大数据计算或深度训练生成推荐候选集。 召回策略 过滤规则 过滤规则用于生成推荐的过滤集,包含黑白名单、历史行为过滤等特性。支持用户在线上推理过程中完成对相关物品的过滤。 过滤规则 特征工程 特征工程常用于抽取用户、物品的特征和特定算法的特征生成,一般作为某些算法的前置输入条件。
数量可以根据实际业务按需购买。 计算资源:用于推荐作业的计算规格。涉及计费功能包含:数据源、自定义场景、智能场景中的离线计算和模型训练。 存储资源:用于推荐系统数据存储规格。涉及计费功能包括:数据源。 在线服务:用于推荐系统在线推理,获得最终推荐结果。 套餐介绍 计算资源分为“计
产品功能 数据源 数据源功能可以在用户上传数据后,将离线数据源经过数据特征抽取,生成推荐系统内部通用的数据格式。经过数据质量检测来确保数据的合法性。提供数据源智能检测,输出数据分布和数据质量信息等,智能完成特征工程。 智能场景 根据业务场景选择对应的智能推荐场景,快速搭建专属推荐
全局特征信息文件 在特征工程、在线模块,近线模块时都会用到该全局的特征信息文件。当上传的数据中的特征有变化时,用户需要同步更新该文件。该文件为JSON格式,包含特征名、特征大类、特征值类型。 表1 全局特征信息文件字段描述 字段名 类型 描述 是否必选 user_features
密码,通过已验证手机或已验证邮箱进行验证,输入对应的验证码,如图4所示。 图4 新增访问密钥 单击“确定”,根据浏览器提示,保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件,即可查看访问密钥(Access Key Id和Secret
该功能使用涉及两部分:实时行为数据的接入和在线服务配置行为过滤。当数据源部分开启近线行为实时接入之后,并且用户通过上传实时行为数据,系统才具备根据实时行为进行曝光过滤的功能,该部分可参考上传实时数据进行配置和对接。 本实践的基本流程如下: 准备工作 创建数据源 配置在线服务参数 获取推荐结果
Service,简称OBS)进行数据源以及黑白名单和用户数据的存储。因此,在使用RES之前您需要开通OBS服务并创建桶,然后在OBS桶中上传用户数据用于推荐作业的计算。 需要存放在OBS桶中的数据包括: 离线数据源:包含用户类数据,物品类数据,行为数据以及推荐候选列表。 黑名单和白
请参见表11,每一种排序算法的数据预处理参数。 表10 writer_parameters高级设置参数说明 参数名称 是否必选 参数类型 说明 save_mode 否 String 对结果保存路径中已有宽表数据的保留方式: new(否,不保留任何已有的数据) append(是,保留全部已有的数据) ov
是否需要重新执行任务。 以上功能,我们也可以使用数据治理中心 DataArts Studio,通过拖拽的方式完成配置。具体操作步骤如下: 登录数据治理中心 DataArts Studio管理控制台,在控制台的左侧导航栏,选择“数据开发 > 作业开发”。 在“工作区”页面的右侧,单击“新建作业”。
是否必选 参数类型 说明 data_source 是 JSON 请参见表10,数据源参数。 实时流近线任务支持的推荐标准数据为用户操作行为表。 data_source_config 是 JSON 请参见表12,数据源参数配置。 algorithm_config 是 JSON 请参见表13,算法参数配置。
性名和属性值。来源于画像数据,即特征工程中初始用户画像-物品画像-标准宽表生成算子作业输出的数据,用户属性来自于公共配置的全局特征信息文件。如过滤籍贯是广东且性别为男性的用户。 物品属性:指定在物品属性中需要过滤的字段,包含属性名和属性值。来源于画像数据,即特征工程中初始用户画像