检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开启近线行为实时接入之后,并且用户通过上传实时行为数据,系统才具备根据实时行为进行曝光过滤的功能,该部分可参考上传实时数据进行配置和对接。 本实践的基本流程如下: 准备工作 创建数据源 配置在线服务参数 获取推荐结果 准备工作 已注册华为云帐号,并且账号为可用状态。 用户已经创建自定义场景或新建自定义场景过程中。
Insight,简称DLI)来创建集群。 DLI服务 登录华为云。在华为云“产品”页签,选择“大数据>数据湖探索DLI”,进入DLI产品页。单击“进入控制台”,授权开始使用DLI。 ModelArts服务 登录华为云。在华为云“产品”页签,选择“人工智能>AI开发平台ModelAr
上传实时数据 RES通过DIS SDK上传实时数据,用户实时日数据并做近线处理。当前仅支持Java语言的SDK,示例请参见《数据接入服务SDK参考》。 前提条件 如果需要使用近线上传实时数据的用户,可以使用DIS SDK接口上传,请您按照需求下载DIS SDK,下载完之后按照下面的说明进行SDK升级。
如何上传实时数据? 推荐系统支持您通过SDK上传实时数据,具体操作方法如下。 前提条件 如果需要使用近线上传实时数据的用户,可以使用DIS SDK接口上传,请您按照需求下载DIS SDK,下载完之后按照下面的说明进行SDK升级。 子账户无法使用SDK上传数据,需要主账号授权子账号DIS
已经获取访问密钥(AK/SK)。 通过OBS管理上传数据 本文档中,采用管理控制台上传数据至OBS。 执行如下操作,将数据导入到您的数据集中,以便用于模型训练和构建。 登录OBS管理控制台,在RES同一区域内创建桶。如果已存在可用的桶,需确保OBS桶与RES在同一区域。 将本地数据上传至OBS桶中。如果您的数据较多,推荐OBS
为账号充值 当您使用RES时,建议您先为您的账号充值,确保账号有足够余额可以正常使用RES,具体操作请参见如何给华为云帐户充值。如果您账号里有足够的余额,可略过此部分内容。 父主题: 准备工作
可以: 根据企业的业务组织,在您的华为云帐号中,给企业中不同职能部门的员工创建IAM用户,让员工拥有唯一安全凭证,并使用RES资源。 根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。 将RES资源委托给更专业、高效的其他华为云帐号或者云服务,这些账号或者云服务可以根据权限进行代运维。
近线策略的具体功能如下: 基于行为数据的用户画像更新 基于用户的标签搜索候选集 基于用户数据更新用户画像 基于物品数据更新物品画像 流式训练 可上传3份数据至DIS:实时行为日志、实时用户日志和实时物品日志,如实时日志所示。 实时行为日志会被“基于行为数据的用户画像更新”和“基于用户的标签搜索候选集”使用;
如何上传数据至OBS 使用RES进行推荐时,您需要将数据上传至对象存储服务(OBS)桶中。您可以登录OBS管理控制台创建OBS桶,并在您创建的OBS桶中创建文件夹,然后再进行数据的上传。创建OBS桶和上传文件夹的操作指导请参见创建桶和上传对象。 您在创建OBS桶时,需保证您的OBS桶与RES在同一个区域。
修改成大于当前时间的值。 图3 修改item.txt文件 将“test-data”文件夹下的所有文件上传至准备工作中您创建的OBS路径下。 步骤2:创建离线数据源 数据下载并上传至OBS后,您需要创建一个数据源用于后续的计算。具体操作步骤如下: 登录RES管理控制台,在左侧菜单栏
如果您需要对您所拥有的RES进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用ECS服务的其它功能。 默认情况下,新建的IAM用户没有
如果系统预置的RES权限不满足您的授权要求,可以创建自定义策略。自定义策略中可以添加的授权项(Action)请参考策略支持的授权项。 目前华为云支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务、操作、资源、条件等策略内容,可自动生成策略。
推荐结果出现同一属性物品扎堆出现的现象。 本实践的基本流程如下: 准备工作 创建数据源 配置在线服务参数 获取推荐结果 准备工作 已注册华为云帐号,并且账号为可用状态。 确保用户选择的属性在物品表存在相应的字段属性,若不存在,统一按照默认(不打散)处理。 用户已经创建自定义场景或新建自定义场景过程中。
修改成大于当前时间的值。 图3 修改item.txt文件 将“test-data”文件夹下的所有文件上传至准备工作中您创建的OBS路径下。 步骤2:创建离线数据源 数据下载并上传至OBS后,您需要创建一个数据源用于后续的计算。具体操作步骤如下: 登录RES管理控制台,在左侧菜单栏
调用RES之前,您需要准备3种基础数据包并上传至OBS,离线数据源目前支持CSV和JSON。具体数据包请参见表1 基础数据表。 表1 基础数据表 数据类型 表名 用户类数据 用户属性表 物品类数据 物品属性表 行为类数据 用户操作行为表 用户需要自己手工创建整理这些表并存储到OBS上。 每张表的表结
使用RES,从资源准备到在线服务完成推荐的全流程,如图1所示。 图1 RES操作流程 表1 使用流程说明 流程 子任务 说明 详细指导 数据源 准备离线数据源 需要您准备包含用户数据,物品数据,行为数据上传至对象存储服务(OBS)用于推荐系统的离线计算。 准备离线数据源 上传离线数据源至OBS
本章节介绍使用RES,从资源准备到在线服务完成推荐的全流程。RES流程图如图1所示。 图1 RES操作流程 表1 使用流程说明 流程 子任务 说明 详细指导 数据源 准备离线数据源 需要您准备包含用户数据,物品数据,行为数据上传至对象存储服务(OBS)用于推荐系统的离线计算。 准备离线数据源 上传离线数据源至OBS
物品数据,行为数据。 上传离线数据源至OBS 将准备的离线数据源上传至对象存储服务(OBS)用于推荐系统的离线计算。 创建离线数据源 在使用RES之前,首先您需要创建一个数据源,后续的操作都是基于您创建的数据源进行的。 上传实时数据 RES通过SDK上传实时数据,进行数据计算和处理,更新用户的相关数据。
该文件用于说明数据字段信息,以便推荐系统识别用户离线数据,通过特征工程将对应的数据写入到画像中,同时用于排序训练和线上推理服务中使用。 文件数据信息请参见全局特征信息文件数据格式。 当上传的数据中的特征有变化时,用户需要同步更新该文件。该文件为JSON格式,包含特征名、特征大类、特征值类型。
离线数据和近线实时数据如何配合使用? 在推荐系统初始化阶段,需要用户提供批量的离线数据源并按照推荐系统要求的数据格式上传至OBS,完成数据的检测和导入。 近线实时数据源推荐使用RES SDK上传,此操作所有的数据更新都是实时生效的。 父主题: 数据源