检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
全局特征信息文件 在特征工程、在线模块,近线模块时都会用到该全局的特征信息文件。当上传的数据中的特征有变化时,用户需要同步更新该文件。该文件为JSON格式,包含特征名、特征大类、特征值类型。 表1 全局特征信息文件字段描述 字段名 类型 描述 是否必选 user_features
推荐系统OBS文件夹规范 使用推荐系统时,需要在OBS创建桶并导入离线数据,同时作业所产生的数据也会保存在OBS中。为了方便您快速定位文件路径,建议您按照如下结构准备数据创建文件夹,并上传至OBS桶。 OBS文件夹示例 自定义OBS桶名 │ obs-offline-data
查看报告 如果导入错误,会生成“数据导入错误报告”,显示数据“类型”、“数量”和“原因”,方便您定位问题原因。 (可选)如果用户更新了数据源,可以重新导入数据。 单击“数据导入报告”后的“执行”,重新进行数据导入。 图2 重新导入数据 表1 参数解释 参数 说明 导入画像 选择是否导入画像。
“用户画像实时导入”、“物品画像实时导入”以及“行为数据实时导入”可以单独进行导入。 打开目标数据右侧的导入按钮,确认“实时计算规格”信息和计费后并进行确认后,单击“是”进行实时导入。待数据状态成为“运行中”时,表示实时数据导入完成。每“执行”一次导入操作,之前的数据内容将被覆盖,请您谨慎操作。 图1 实时导入
如何确定近线数据源导入实时数据成功? 近线数据源上传成功后,可在推荐系统控制台的“数据源”直接查看。 父主题: 数据源
费详情。 “画像数据”:在数据源导入数据成功后,按每小时每百万条画像进行计费,在删除数据源后,将停止计费。 “训练作业”:在创建离线作业和导入实时数据均需要选取训练规格,根据训练规格大小进行计费。 如果需要数据源停止计费,请先终止近线数据源的导入,删除对应数据源和对应OBS中的数据存储。
使用RES进行推荐时,您需要将数据上传至对象存储服务(OBS)桶中。您可以登录OBS管理控制台创建OBS桶,并在您创建的OBS桶中创建文件夹,然后再进行数据的上传。创建OBS桶和上传文件夹的操作指导请参见创建桶和上传对象。 您在创建OBS桶时,需保证您的OBS桶与RES在同一个区域。 父主题: 数据源
单击属性操作列的“保存”。 “任务配置地址”:用于存放创建作业时自动生成的JSON格式的配置源文件存储路径。 “全局特征信息文件”:根据全局特征信息文件规范准备并上传的全局特征信息文件路径。 “通用格式数据”:经过特征工程处理的宽表路径。 “用户属性表”:离线数据用户属性表的OBS路径。
页面完成数据创建、数据修改等操作,为智能场景推荐和自定义场景推荐做好数据准备。 数据类型 当前RES支持创建数据源和导入近线数据。创建数据源的数据格式和近线数据导入的格式要求一致,包括用户数据、物品数据和行为数据。 用户数据 用户数据包括数据源中的“用户属性表”和用于近线计算的“
全局特征信息文件 开启扩展功能时,此配置项生效。其中“数据源类型”您可以选择“用户特征”或者“物品特征”进行设置。 全局特征信息文件:单击选择该文件的OBS存储路径,当涉及更新时,单击更新全局特征信息文件,并重新设置依赖此文件的配置项。 用户特征:从下拉选项中勾选全局特征信息文件中提取的用户特征用于进行分组推荐。
离线数据和近线实时数据如何配合使用? 在推荐系统初始化阶段,需要用户提供批量的离线数据源并按照推荐系统要求的数据格式上传至OBS,完成数据的检测和导入。 近线实时数据源推荐使用RES SDK上传,此操作所有的数据更新都是实时生效的。 父主题: 数据源
执行如下操作,将数据导入到您的数据集中,以便用于模型训练和构建。 登录OBS管理控制台,在RES同一区域内创建桶。如果已存在可用的桶,需确保OBS桶与RES在同一区域。 将本地数据上传至OBS桶中。如果您的数据较多,推荐OBS Browser+上传数据或上传文件夹。 数据上传成功后
面。 单击离线数据源右侧的“编辑”,在页面下方单击选择目标文件在OBS中的存储位置。 图1 修改离线数据源 单击“确认”,完成修改。 删除数据源 前提条件 已存在创建成功的数据源。 注意事项 数据源中的数据结构、数据导入或数据探索有任务在运行,该数据源不支持删除。 被智能场景或自定义场景使用的数据源不支持删除。
务别名和UUID。 模型文件路径:排序策略生成的模型存储路径。 “属性权重” 属性权重:输入属性,权重默认1.0 。也可单击“增加属性权重”。 公共配置 “全局特征信息文件” 为json格式文件。指定在去重过滤即属性过滤中物品属性和用户属性的特征信息文件,如物品属性需要“feat
SDK,下载完之后按照下面的说明进行SDK升级。 子账户无法使用SDK上传数据,需要主账号授权子账号DIS USER权限。详细请参考权限管理。 下载SDK之后,需要修改pom文件中的依赖,对SDK进行升级,最新版本可升级至1.3.12。 上传实时数据至RES 初始化DIS客户端,使用代码初始化DIS SDK客户端实
60字符。 rules 是 List 每个Flow配置不同流量和候选集的规则,请参见表4。 backup_uuid 否 String 人工导入召回策略生成的uuid。 need_preferences 否 Boolean 是否开启优选项功能,需匹配global_features_
选择数据存储的OBS桶及其文件或文件夹。 如果选取文件夹,该文件夹下面的数据格式需保持一致,避免数据干扰。 物品属性表 从OBS桶中选择数据。在“物品属性表”右侧,单击,从弹出的对话框中,选择数据存储的OBS桶及其文件或文件夹。 如果选取文件夹,该文件夹下面的数据格式需保持一致,避免数据干扰。
load_widetable 否 Boolean 导入宽表(离线数据导入作业需要提供此参数)。 load_profile 否 Boolean 导入画像(离线数据导入作业需要提供此参数)。 save_mode 否 String 保留已有宽表(离线数据导入作业需要提供此参数): append,是
个字符。 描述 策略的具体描述。 OBS地址 用户可从此OBS地址中选择自定义物品列表的csv文件。单击,从弹出的对话框中,选择数据存储的OBS桶及其文件夹。 导入候选集类型 选择导入候选集类型,目前支持以下三种。 物品-分数候选集:物品-分数候选集可以用于在线服务的推荐候选集。
h 是 String 该文件标识了每一个域下的特征数量,排序数据处理接口会生成这个文件,文件路径为用户在排序数据预处理中输入的结果保存路径参数表示的路径的“fields_feature_size”目录下,文件名称为“part-00000”,需要用户提供文件完整路径。 max_iterations