检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可用区(AZ,Availability Zone) 一个AZ是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 项目 华为云的区域默认对应一个项目,这个项目由系统预置,用
创建离线数据源 上传实时数据(可选) RES通过SDK上传实时数据,进行数据计算和处理,更新用户的相关数据。 上传实时数据 数据质量管理 数据质量管理操作可以将数据源经过数据特征抽取,生成推荐系统内部通用的数据格式。 数据质量管理 选择并配置推荐业务 智能场景 针对对应的场景,由RE
参数类型 说明 item_profile_storage 是 JSON 请参见表28,用户画像存储信息。 user_profile_storage 是 JSON 请参见表28,用户画像存储信息。 表28 item_profile_storage、user_profile_storage参数说明
组合作业作为一个包含多个子任务的作业,通常用于多个召回、过滤、排序等任务。 组合作业 数据质量 数据质量是用户在进行离线计算之前使用原始初始格式数据或者通用格式数据检测输入数据是否合法。 数据质量 特征工程 特征工程常用于抽取用户、物品的特征和特定算法的特征生成,一般作为某些算法的前置输入条件。
单击“编辑”对参数进行重新配置,单击“确认”完成场景参数修改。 图1 编辑智能场景 编辑智能场景信息需要执行发布操作才可以同步数据。 发布场景会覆盖之前数据,请谨慎操作。 删除智能场景 登录RES管理控制台,在左侧导航栏中选择“推荐业务 > 智能场景”,进入智能场景列表页面。 选择
删除离线作业 删除离线作业即清理离线作业产生的数据,数据清理完成后删除元数据。操作必须确保流程中没有使用该作业产生的UUID,可以参考以下操作完成。 删除离线作业 您可以对“计算成功”、“计算失败”等状态的作业进行删除,“启动中”、“计算中”状态的作业不支持删除操作。 登录RES
项目编号,用于资源隔离。 user_id String 来自公有云的User ID,用于用户隔离。 type String 指标类型。 parameter String 全局配置参数配置。 data_format String 数据格式,用户属性表、物品属性表,用户操作行为表必填,值可以为“csv”和“json”。
user_profiles_table 否 JSON 用户属性存储表.请参见表8, algorithm_type为INITIAL_PROFILES_GENERATION时必选。 item_profiles_table 否 JSON 物品属性存储表请参见表8, algorithm_type为IN
则无法调用接口。 获取访问秘钥并添加RES全局配置 属性配置 以键值对的方式进行存储,配置后的配置项可以用于整个服务。 管理属性配置 计算资源 计算资源包括DLI服务,添加的计算资源需根据业务数据情况进行合理分配。 管理计算资源 父主题: 全局配置
排除行为类型:将有此行为类型的物品排除掉,使之依旧在候选集中。 属性去重 单击增加属性去重。 “属性名”:从下拉列表中选择属性名进行去重。如“product_color”,则对产品颜色相同的物品进行去重。 “去重位置”:可选择“排序前”或者“排序后”。 属性值过滤 指定定制化用户
"table_type_id": "ITEM_META", "data_format": "csv", "data_source_url": "<数据源存储路径>", "data_param": { "header": "false", "delimiter": ",", "quote": "\""
输出流DIS通道名称。该通道用于存放由行为数据和画像库计算生成的排序预处理数据,以供模型训练。通道中的数据属于流式训练作业产生的中间数据,使用者只需指定通道名称,无需往该通道发送或获取数据。 starting_offsets 是 String 读取DIS数据的起始位置,LATEST表示从最新的数据开始读取。 表10
获取访问密钥并添加RES全局配置 由于使用RES时,用户上传数据、进行离线计算等需要依赖其他服务,如果没有添加访问密钥则无法使用其他服务。因此,在使用RES前,您需要获取访问密钥并在RES管理控制台完成添加访问密钥的配置。 获取访问密钥 登录华为云,鼠标移动至页面右上方用户名,在下拉列表中选择“账号中心”。如图1所示。
获取访问密钥(AK/SK) 由于使用RES时,上传数据、进行计算等需要依赖其他服务,若没有添加访问密钥则无法使用其他服务。 获取访问密钥 登录华为云,在页面右上方单击“控制台”,进入华为云管理控制台。 图1 控制台入口 在控制台右上角的帐户名下方,单击“我的凭证”,进入“我的凭证”页面。
AutoGroup,AutoGroup作业 StreamRank,在线训练作业 DataStruct,识别数据结构作业 DataExploration,数据探索作业 DataImport,离线数据导入作业 Evaluate,效果评估作业 schedule 否 String 调度参数 表4 jobConfig
以获得更好的推荐结果。 以上功能,我们也可以使用数据治理中心 DataArts Studio,通过拖拽的方式完成配置。具体操作步骤如下: 登录数据治理中心 DataArts Studio管理控制台,在控制台的左侧导航栏,选择“数据开发 > 作业开发”。 在“工作区”页面的右侧,单击“新建作业”。
、“16核|128GiB”。 训练数据的obs路径 单击选择特征工程排序样本预处理生成的训练数据所在的OBS路径。 即特征工程“排序样本预处理”结果保存路径下具体的训练文件路径。 测试数据的obs路径 单击选择特征工程排序样本预处理生成的测试数据所在的OBS路径。 即特征工程“排
load_widetable 否 Boolean 导入宽表(离线数据导入作业需要提供此参数)。 load_profile 否 Boolean 导入画像(离线数据导入作业需要提供此参数)。 save_mode 否 String 保留已有宽表(离线数据导入作业需要提供此参数): append,是 new,否
本实践的基本流程如下: 准备工作 创建数据源 配置在线服务参数 获取推荐结果 准备工作 已注册华为云帐号,并且账号为可用状态。 确保用户选择的属性在物品表存在相应的字段属性,若不存在,统一按照默认(不打散)处理。 用户已经创建自定义场景或新建自定义场景过程中。 创建数据源 参考数据源管理进行创建。 配置“在线服务”参数
load_widetable 否 Boolean 导入宽表(离线数据导入作业需要提供此参数)。 load_profile 否 Boolean 导入画像(离线数据导入作业需要提供此参数)。 save_mode 否 String 保留已有宽表(离线数据导入作业需要提供此参数): append,是 new,否