检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何上传数据至OBS 使用RES进行推荐时,您需要将数据上传至对象存储服务(OBS)桶中。您可以登录OBS管理控制台创建OBS桶,并在您创建的OBS桶中创建文件夹,然后再进行数据的上传。创建OBS桶和上传文件夹的操作指导请参见创建桶和上传对象。 您在创建OBS桶时,需保证您的OBS桶与RES在同一个区域。
上传离线数据源至OBS RES使用对象存储服务(Object Storage Service,简称OBS)进行数据源的存储。因此,在使用RES之前您需要开通OBS服务并创建桶,然后在OBS桶中上传用户数据用于推荐作业的计算。 需要存放在OBS桶中的数据包括: 离线数据源:包含用户
创建OBS桶 RES使用对象存储服务(Object Storage Service,简称OBS)进行数据源以及黑白名单和用户数据的存储。因此,在使用RES之前您需要开通OBS服务并创建桶,然后在OBS桶中上传用户数据用于推荐作业的计算。 需要存放在OBS桶中的数据包括: 离线数据
推荐系统OBS文件夹规范 使用推荐系统时,需要在OBS创建桶并导入离线数据,同时作业所产生的数据也会保存在OBS中。为了方便您快速定位文件路径,建议您按照如下结构准备数据创建文件夹,并上传至OBS桶。 OBS文件夹示例 自定义OBS桶名 │ obs-offline-data
属性配置以键值对的方式进行存储,配置后的配置项可以用于整个服务。该配置项的值为用户指定的OBS路径,OBS相关操作请参见创建OBS桶。 前提条件 已开通OBS服务,并按照推荐系统OBS文件夹规范建议格式创建文件夹。 已上传离线数据。 创建场景 您可以根据自己的业务创建场景进行配置,最多可以创建10个场景。具体操作如下:
注册华为帐号并开通华为云 在使用华为云服务之前您需要申请华为云帐号。通过此账号,您可以使用所有华为云服务,并且只需为您所使用的服务付费。 操作步骤 进入华为云首页,单击页面右上角的“注册”。 设置手机号、短信验证码、账号名、密码并勾选“我已阅读并同意《华为云用户协议》和《隐私政策声明》”,单击“同意协议并注册”。
注册华为帐号并开通华为云 在使用华为云服务之前您需要申请华为云帐号。通过此账号,您可以使用所有华为云服务,并且只需为您所使用的服务付费。 操作步骤 进入华为云首页,单击页面右上角的“注册”。 设置手机号、短信验证码、账号名、密码并勾选“我已阅读并同意《华为云用户协议》和《隐私政策声明》”,单击“同意协议并注册”。
离线数据和近线实时数据如何配合使用? 在推荐系统初始化阶段,需要用户提供批量的离线数据源并按照推荐系统要求的数据格式上传至OBS,完成数据的检测和导入。 近线实时数据源推荐使用RES SDK上传,此操作所有的数据更新都是实时生效的。 父主题: 数据源
数据源如何收费? 数据源的收费包括三项。 “OBS存储”:将离线数据源上传至OBS进行存储,根据存储空间大小进行计费。详见OBS计费详情。 “画像数据”:在数据源导入数据成功后,按每小时每百万条画像进行计费,在删除数据源后,将停止计费。 “训练作业”:在创建离线作业和导入实时数据
如修改数据源、创建自定义推荐,都是基于您创建的数据源进行的。 前提条件 已创建用于存储数据的OBS桶及文件夹,并且数据存储的OBS桶与RES在同一区域。 需要使用的数据已上传至OBS。 创建数据源 登录RES管理控制台,在左侧菜单栏中选择“数据源”,进入“数据源”列表页面。 单
调用RES之前,您需要准备3种基础数据包并上传至OBS,离线数据源目前支持CSV和JSON。具体数据包请参见表1 基础数据表。 表1 基础数据表 数据类型 表名 用户类数据 用户属性表 物品类数据 物品属性表 行为类数据 用户操作行为表 用户需要自己手工创建整理这些表并存储到OBS上。 每张表的表结构
上传实时数据 RES通过DIS SDK上传实时数据,用户实时日数据并做近线处理。当前仅支持Java语言的SDK,示例请参见《数据接入服务SDK参考》。 前提条件 如果需要使用近线上传实时数据的用户,可以使用DIS SDK接口上传,请您按照需求下载DIS SDK,下载完之后按照下面的说明进行SDK升级。
如何上传实时数据? 推荐系统支持您通过SDK上传实时数据,具体操作方法如下。 前提条件 如果需要使用近线上传实时数据的用户,可以使用DIS SDK接口上传,请您按照需求下载DIS SDK,下载完之后按照下面的说明进行SDK升级。 子账户无法使用SDK上传数据,需要主账号授权子账号DIS
Key字段内容。 在添加AK/SK前,需要在OBS至少创建一个桶,否则会校验失败。具体操作请参见创建OBS桶。 请确保所填写的AK、SK为当前账号所获取的。 如果您添加访问密钥时,提示“上传的AK/SK不可用”,可能账号状态异常,欠费或被冻结。如有欠费,请您为华为云账户充值。如有其它问题请您提工单联系工程师解决。
数据源管理 数据源管理简介 准备离线数据源 上传离线数据源至OBS 上传实时数据 创建离线数据源 导入近线数据源 数据质量管理 修改或删除数据源
)或者通用格式数据检测输入数据是否合法。包括离线数据中是否包含特殊字符,数据类型是否正确,是否缺少必备信息等。 前提条件 已将离线数据上传至OBS桶中。 创建数据质量作业 创建数据质量操作步骤如下: 在“离线作业”下,单击“数据质量”页签,单击上方“创建”,进入“创建数据质量”页面。
数据源 RES的离线数据源包括什么? 如何上传数据至OBS 如何上传实时数据? 离线数据和近线实时数据如何配合使用? 数据探索是什么?近线实时数据如何在数据探索中的报告体现? 如何确定近线数据源导入实时数据成功? 实时数据能否立即应用到推荐场景?
删除自定义场景 算法介绍 在线服务 召回策略 排序策略 过滤规则 效果评估 常见问题 了解更多常见问题、案例和解决方案 热门案例 如何上传离线数据源至OBS? 如何上传实时数据? 如何获取访问密钥? 推荐系统创建的场景是否会立即发布? 推荐系统支持哪些自定义策略? 如何查看推荐系统消费详情?
准备离线数据源 在使用RES创建数据源时,您需要准备以下的3种基础数据包并上传至OBS。如果使用近线流程,需先将业务系统埋点日志转换成推荐系统指定格式,并实时写入DIS相应通道。本章节介绍了RES当前离线数据源和近线数据源的数据格式,您可以参考本章节说明,准备相应的数据。 目前数
您可以对离线数据源进行重新编辑操作来更新数据源,如果该数据源不再使用,您可以删除数据源释放资源。 修改离线数据源 前提条件 已存在的离线数据源有修改或者更新并已经上传至OBS。 只有在数据源数据结构特征抽取人工复核确认之前才允许修改数据源。 注意事项 修改编辑之后的离线数据源需要重新进行数据结构抽取和检测、探索等操作。