检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何确定近线数据源导入实时数据成功? 近线数据源上传成功后,可在推荐系统控制台的“数据源”直接查看。 父主题: 数据源
数据质量管理 数据结构 数据导入 数据探索 父主题: 数据源管理
数据源管理简介 RES以数据为基础进行算法计算并完成推荐,您可以在RES管理控制台,数据源页面完成数据创建、数据修改等操作,为智能场景推荐和自定义场景推荐做好数据准备。 数据类型 当前RES支持创建数据源和导入近线数据。
准备离线数据源 在使用RES创建数据源时,您需要准备以下的3种基础数据包并上传至OBS。如果使用近线流程,需先将业务系统埋点日志转换成推荐系统指定格式,并实时写入DIS相应通道。本章节介绍了RES当前离线数据源和近线数据源的数据格式,您可以参考本章节说明,准备相应的数据。
导入近线数据源 通过导入近线数据源,达到实时计算并更新用户画像、物品画像,实时更新增量数据的目的。 前提条件 按数据规范准备数据并上传至通道。具体上传方法请参见上传实时数据。 导入近线数据源 登录RES管理控制台,在左侧菜单栏中选择“数据源”,进入“数据源”列表页面。
离线数据源 调用RES之前,您需要准备3种基础数据包并上传至OBS,离线数据源目前支持CSV和JSON。具体数据包请参见表1 基础数据表。
X-Auth-Token 是 String 用户token,获取方式请参见获取用户Token。 表3 请求Body参数 参数 是否必选 参数类型 描述 job_name 是 String 作业名称,1-64位的字母、数字、下划线、中划线组合。
RES的离线数据源包括什么? 离线数据包括如下几张表: 用户属性表 物品属性表 用户操作行为表 每张表的字段描述和规范详情请参见《推荐系统用户指南》中准备离线数据源章节。 父主题: 数据源
实时数据能否立即应用到推荐场景? 需要确认关联的召回策略,近线召回可以,离线召回不可以。离线召回需要重新执行。 父主题: 数据源
即特征工程“排序样本预处理”结果保存路径下具体的测试文件路径。 特征值数量统计文件 该文件标识了每一个域下的特征数量,排序数据处理接口会生成这个文件,需要用户提供此文件完整路径。
URI POST /v2.0/{project_id}/workspaces/{workspace_id}/resources/{resource_id}/job-instance 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id,获取方式请参见获取项目
后续任务读取数据时,将会过滤掉指定的用户或物品的记录。文件格式为每个ID占据一行。 用户黑名单/物品黑名单 上传设置的黑名单列表。 场景规格 离线计算规格 可选择“4CU”、“8CU”、“16CU”和“32CU”四种规格。其中,CU代表CPU核数。
数据源 RES的离线数据源包括什么? 如何上传数据至OBS 如何上传实时数据? 离线数据和近线实时数据如何配合使用? 数据探索是什么?近线实时数据如何在数据探索中的报告体现? 如何确定近线数据源导入实时数据成功? 实时数据能否立即应用到推荐场景?
数据源 创建数据源 查询数据源列表 查询数据源详情 修改数据源内容 修改数据源特征 删除数据源 查询数据源任务结果 父主题: API
数据源管理 数据源管理简介 准备离线数据源 上传离线数据源至OBS 上传实时数据 创建离线数据源 导入近线数据源 数据质量管理 修改或删除数据源
步骤2创建的自定义策略可以在“可选策略”的下拉选项中选择“自定义策略”获取。 父主题: 工作空间
全局特征信息文件 用户在使用近线策略之前,需要提供全局特征信息文件,该文件中包含了离线数据中用户、物品的所有特征字段及对应数据类型,并且特征类型要始终保持一致。全局特征信息文件示例请参考全局特征信息文件。
深度网络因子分解机 表37 algorithm_parameters参数说明 参数名称 是否必选 参数类型 说明 fields_feature_size_path 是 String 该文件标识了每一个域下的特征数量,排序数据处理接口会生成这个文件,文件路径为用户在数据处理中输入的“
任务配置地址,在创建作业时, 会自动生成一个JSON格式的配置源文件,该文件存储在指定的OBS路径中,计算引擎可以通过读取配置源文件来进行离线计算。 资源名,指定DLI运行作业的资源规格。
数据源如何收费? 数据源的收费包括三项。 “OBS存储”:将离线数据源上传至OBS进行存储,根据存储空间大小进行计费。详见OBS计费详情。 “画像数据”:在数据源导入数据成功后,按每小时每百万条画像进行计费,在删除数据源后,将停止计费。