检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据质量 数据质量检测算子，是用户在进行离线计算之前使用原始初始格式数据（离线数据源中的离线数据）或者通用格式数据检测输入数据是否合法。包括离线数据中是否包含特殊字符，数据类型是否正确，是否缺少必备信息等。 前提条件 已将离线数据上传至OBS桶中。 创建数据质量作业 创建数据质量操作步骤如下：
数据探索 数据探索介绍 数据探索是针对当前数据源的数据进行挖掘和分析，主要聚焦在特征的分布范围、统计以及特征齐全度等，使用户能够更了解数据，进而指导在特征工程以及相关算法的配置。 数据探索是一个离线分析任务，任务有对应的启动时间，由于增量数据会实时入库，因此可以通过定时执行数据探索任务来覆盖增量数据。
数据质量管理 数据结构 数据导入 数据探索 父主题： 数据源管理
数据导入 数据导入介绍 数据导入即读取经过“数据结构”生成的数据，对每条数据进行校验。推荐系统保留字段需校验类型和数据合法性、自定义字段校验类型，输出错误报告。如果数据完全符合要求，会生成推荐系统所需要的宽表和画像数据。 宽表：推荐系统内部格式，以行为数据为主，将行为数据中涉及到的用户数据和物品数据整合成一条数据。
数据探索是什么？近线实时数据如何在数据探索中的报告体现？ 数据探索是针对当前数据源的数据进行挖掘和分析，主要聚焦在特征的分布范围、统计以及特征齐全度等，使用户能够更了解数据，进而指导在特征工程以及相关算法的配置。 数据探索是一个离线分析任务，任务有对应的启动时间，由于近线实时数据
String 数据源名称，1-64位字母、数字、下划线、中划线组合。 最小长度：1 最大长度：64 specs_config 是 SpecsConfig object 计算规格配置。 data_config 是 DataConfig object 数据源配置。 表4 SpecsConfig
是 String 数据源名称:，1-64位字母、数字、下划线、中划线组合。 最小长度：1 最大长度：64 data_config 是 DataConfig object 数据配置。 specs_config 是 SpecsConfig object 计算规格配置。 表5 DataConfig
上传实时数据 RES通过DIS SDK上传实时数据，用户实时日数据并做近线处理。当前仅支持Java语言的SDK，示例请参见《数据接入服务SDK参考》。 前提条件 如果需要使用近线上传实时数据的用户，可以使用DIS SDK接口上传，请您按照需求下载DIS SDK，下载完之后按照下面的说明进行SDK升级。
创建离线数据源 在使用RES之前，首先您需要创建一个数据源，后续的操作，如修改数据源、创建自定义推荐，都是基于您创建的数据源进行的。 前提条件 已创建用于存储数据的OBS桶及文件夹，并且数据存储的OBS桶与RES在同一区域。 需要使用的数据已上传至OBS。 创建数据源 登录RES
用接口。 获取访问秘钥并添加RES全局配置 属性配置 以键值对的方式进行存储，配置后的配置项可以用于整个服务。 管理属性配置 计算资源 计算资源包括DLI服务，添加的计算资源需根据业务数据情况进行合理分配。 管理计算资源 父主题： 全局配置
nearline Nearline object 近线数据源。 表6 Offline 参数 参数类型 描述 user_url String 用户数据url。 item_url String 物品数据url。 behavior_url String 行为数据url。 表7 Nearline 参数 参数类型
数据结构 当数据源创建完成，您可以进入数据源详情页面进行数据质量管理操作。数据质量管理操作可以将离线数据源经过数据特征抽取，生成推荐系统内部通用的数据格式。经过数据质量检测来确保数据的合法性。 数据结构介绍 数据结构步骤的主要目的是读取用户上传的离线数据，解析用户特征和物品特征中
导入近线数据源 通过导入近线数据源，达到实时计算并更新用户画像、物品画像，实时更新增量数据的目的。 前提条件 按数据规范准备数据并上传至通道。具体上传方法请参见上传实时数据。 导入近线数据源 登录RES管理控制台，在左侧菜单栏中选择“数据源”，进入“数据源”列表页面。 在数据源列表
准备离线数据源 在使用RES创建数据源时，您需要准备以下的3种基础数据包并上传至OBS。如果使用近线流程，需先将业务系统埋点日志转换成推荐系统指定格式，并实时写入DIS相应通道。本章节介绍了RES当前离线数据源和近线数据源的数据格式，您可以参考本章节说明，准备相应的数据。 目前数
离线数据源 调用RES之前，您需要准备3种基础数据包并上传至OBS，离线数据源目前支持CSV和JSON。具体数据包请参见表1 基础数据表。 表1 基础数据表 数据类型 表名 用户类数据 用户属性表 物品类数据 物品属性表 行为类数据 用户操作行为表 用户需要自己手工创建整理这些表并存储到OBS上。
提交数据质量作业 提交数据质量作业API 查询全局特征配置 父主题： 作业相关API
如何上传实时数据？ 推荐系统支持您通过SDK上传实时数据，具体操作方法如下。 前提条件 如果需要使用近线上传实时数据的用户，可以使用DIS SDK接口上传，请您按照需求下载DIS SDK，下载完之后按照下面的说明进行SDK升级。 子账户无法使用SDK上传数据，需要主账号授权子账号DIS
数据源 创建数据源 查询数据源列表 查询数据源详情 修改数据源内容 修改数据源特征 删除数据源 查询数据源任务结果 父主题： API
DATA_QUALITY_INSPECTION，请参见表7。 data_source 是 List 算法数据源配置 DATA_QUALITY_INSPECTION，数据源选择通用模板数据，请参见表5。 offline_platform 是 JSON 请参见表3，离线计算平台信息。 表3
数据源 RES的离线数据源包括什么？ 如何上传数据至OBS 如何上传实时数据？ 离线数据和近线实时数据如何配合使用？ 数据探索是什么？近线实时数据如何在数据探索中的报告体现？ 如何确定近线数据源导入实时数据成功？ 实时数据能否立即应用到推荐场景？
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
