检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
上传离线数据源至OBS RES使用对象存储服务(Object Storage Service,简称OBS)进行数据源的存储。因此,在使用RES之前您需要开通OBS服务并创建桶,然后在OBS桶中上传用户数据用于推荐作业的计算。 需要存放在OBS桶中的数据包括: 离线数据源:包含用户
上传实时数据 RES通过DIS SDK上传实时数据,用户实时日数据并做近线处理。当前仅支持Java语言的SDK,示例请参见《数据接入服务SDK参考》。 前提条件 如果需要使用近线上传实时数据的用户,可以使用DIS SDK接口上传,请您按照需求下载DIS SDK,下载完之后按照下面的说明进行SDK升级。
String 数据源名称,1-64位字母、数字、下划线、中划线组合。 最小长度:1 最大长度:64 specs_config 是 SpecsConfig object 计算规格配置。 data_config 是 DataConfig object 数据源配置。 表4 SpecsConfig
数据质量 数据质量检测算子,是用户在进行离线计算之前使用原始初始格式数据(离线数据源中的离线数据)或者通用格式数据检测输入数据是否合法。包括离线数据中是否包含特殊字符,数据类型是否正确,是否缺少必备信息等。 前提条件 已将离线数据上传至OBS桶中。 创建数据质量作业 创建数据质量操作步骤如下:
数据质量管理 数据结构 数据导入 数据探索 父主题: 数据源管理
提交数据质量作业 提交数据质量作业API 查询全局特征配置 父主题: 作业相关API
创建离线数据源 在使用RES之前,首先您需要创建一个数据源,后续的操作,如修改数据源、创建自定义推荐,都是基于您创建的数据源进行的。 前提条件 已创建用于存储数据的OBS桶及文件夹,并且数据存储的OBS桶与RES在同一区域。 需要使用的数据已上传至OBS。 创建数据源 登录RES
在使用RES之前,首先您需要创建一个数据源,后续的操作都是基于您创建的数据源进行的。 上传实时数据 RES通过SDK上传实时数据,进行数据计算和处理,更新用户的相关数据。 数据质量管理 数据质量管理操作可以将数据源经过数据特征抽取,生成推荐系统内部通用的数据格式。 修改或删除数据源 对您已经创建的数据源进行修改,对不需要的数据源进行删除。
数据源 RES的离线数据源包括什么? 如何上传数据至OBS 如何上传实时数据? 离线数据和近线实时数据如何配合使用? 数据探索是什么?近线实时数据如何在数据探索中的报告体现? 如何确定近线数据源导入实时数据成功? 实时数据能否立即应用到推荐场景?
准备离线数据源 在使用RES创建数据源时,您需要准备以下的3种基础数据包并上传至OBS。如果使用近线流程,需先将业务系统埋点日志转换成推荐系统指定格式,并实时写入DIS相应通道。本章节介绍了RES当前离线数据源和近线数据源的数据格式,您可以参考本章节说明,准备相应的数据。 目前数
数据源 创建数据源 查询数据源列表 查询数据源详情 修改数据源内容 修改数据源特征 删除数据源 查询数据源任务结果 父主题: API
修改或删除数据源 您可以对离线数据源进行重新编辑操作来更新数据源,如果该数据源不再使用,您可以删除数据源释放资源。 修改离线数据源 前提条件 已存在的离线数据源有修改或者更新并已经上传至OBS。 只有在数据源数据结构特征抽取人工复核确认之前才允许修改数据源。 注意事项 修改编辑之
实时日志 RES根据实时发送到DIS上的日志,进行数据计算和处理,更新用户的相关数据。用户发送到DIS上的数据具体如下: 实时行为日志 实时行为日志的作用包括: 更新用户的兴趣标签。 记录所选行为类型的历史记录。 更新用户的上下文信息。 召回候选集。 表1 实时行为日志字段描述 字段名
离线数据源 调用RES之前,您需要准备3种基础数据包并上传至OBS,离线数据源目前支持CSV和JSON。具体数据包请参见表1 基础数据表。 表1 基础数据表 数据类型 表名 用户类数据 用户属性表 物品类数据 物品属性表 行为类数据 用户操作行为表 用户需要自己手工创建整理这些表并存储到OBS上。
RES使用对象存储服务(Object Storage Service,简称OBS)进行数据源以及黑白名单和用户数据的存储。因此,在使用RES之前您需要开通OBS服务并创建桶,然后在OBS桶中上传用户数据用于推荐作业的计算。 需要存放在OBS桶中的数据包括: 离线数据源:包含用户类数据,物品类数据,行为数据以及推荐候选列表。
object 数据源详情。 jobs Array of jobs objects 数据源相关任务详情。 is_success Boolean 是否成功。 message String 返回消息(请求成功时,不返回此字段)。 error_code String 错误码(请求成功时,不返回此字段)。
String 服务名称,服务名称必须以res-开头,由数字、字母、下划线、中划线组成,不能以中划线结束,最大长度48字符。 service_type 是 String 服务类型,可选值infer, rank, nlp。 description 否 String 服务说明。 flows
输出流DIS通道名称。该通道用于存放由行为数据和画像库计算生成的排序预处理数据,以供模型训练。通道中的数据属于流式训练作业产生的中间数据,使用者只需指定通道名称,无需往该通道发送或获取数据。 starting_offsets 是 String 读取DIS数据的起始位置,LATEST表示从最新的数据开始读取。 表10
priority_tags 否 List 由属性、属性值、属性权重以及该属性在物品中的数据类型信息组成的数据格式的列表,其中属性值或属性权重可以不提供,权重信息不提供的场景下采用默认值“0.01”。需要在部署服务时与属性匹配重排序配合使用。格式如下:[{"name":"age","value":"中年"
rts之前需要查询ModelArts服务AK/SK并确保关联AK/SK到ModelArts服务,然后通过查询ModelArts计算节点规格获取spec_id返回的值。 run_path 是 String 训练结果保存根路径,训练完成后,会将模型和日志文件保存在该路径下。不包含中文的文件夹。