检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过DLF进行作业监控及任务异常重新启动 推荐系统提供了查询作业详情API接口,可返回作业详情。返回体中的作业状态字段“jobs.job_status”表示了当前任务的状态。 重新执行作业的API用来将任务以相同的配置重新执行一次。 通过查询作业详情API和重新执行作业的API可
开启公共终端节点 推荐系统在需要使用CloudTable集群进行数据存储,CloudTable集群创建后默认没有打开APIG,需开启之后推荐才能正常使用CloudTable集群。 前提条件 已开通CloudTable服务,创建集群并完成资源绑定。 公共终端节点默认不开启。 开启公共终端节点
高读写性能。 前提条件 已开通计算引擎DLI服务,创建集群并完成资源绑定。 创建跨源链接 DLI集群绑定完成后,创建跨源链接。步骤如下: 登录RES管理控制台,在“资源中心”页面,选择计算引擎DLI进入列表。 单击DLI集群名称,进入“跨源连接”页面。 在“跨源连接”页面,单击“
管理计算资源 计算资源DLI服务,添加的计算资源需根据实情情况进行合理分配。开通DLI集群大小就是根据业务需求对集群进行扩容缩容,计算资源最多设置5个。计算资源支持的操作包括: 创建计算资源 编辑计算资源 删除计算资源 创建计算资源 登录RES管理控制台,在“全局配置”页面的计算资源区域,单击“创建”添加计算资源。
绑定或解绑资源 在RES管理控制台界面,资源中心列表中会提供当前账号创建的DLI集群、CloudTable开启IAM认证的集群和DIS通道供用户选择进行绑定或解绑。 背景信息 绑定资源之后,将该资源应用于RES的作业训练及在线作业获取推荐结果。 解绑资源完成资源释放,已经解绑的资源不再应用于RES的相关计算。
结果存储平台 存储类型有用户画像表和物品画像表两种。 用户画像表:用户自定义CloudTable集群名称和表名,用于存储生成的用户数据。 物品画像表:用户自定义CloudTable集群名称和表名,用于存储生成的物品数据。 设置数据版本:您可以单击设置数据版本。RES的数据版本有两
查询作业详情 通过调用API查询作业详情 通过DLF进行作业监控及任务异常重新启动 父主题: 作业相关API
去创建”,跳转到对应服务管理控制台。 DLI创建集群操作详请参见数据湖探索用户指南>Spark作业控制台>Spark集群管理>创建集群章节。 CloudTable创建集群操作详请参见表格存储服务用户指南> 集群模式> 集群操作指导> 创建集群章节。 DIS创建通道操作详请参见数据接入服务用户指南>
DLI集群建议创建跨源连接,通过RPC方式访问,提高读写性能。 开通存储平台CloudTable CloudTable作为存储平台,用于用户推荐在线数据和推荐候选集的存储。在使用推荐系统之前,您需要开通表格存储服务(CloudTable Service)来创建集群。 登录华为
计算引擎DLI、ModelArts 存储平台CloudTable (可选)数据接入资源DIS 开通相关资源 绑定资源 针对您创建的集群等资源,需要完成绑定,才可以在创建作业时可选择绑定的集群进行计算存储等操作。 绑定资源 创建跨源链接 在使用DLI进行推荐系统的离线和近线计算时,建议创建跨源连接,用
clusters 是 List 请参见表4,集群列表。 表4 clusters参数说明 参数名称 是否必选 参数类型 说明 id 否 String 标识ID。 cluster_name 是 String 集群名称。 status 否 String 集群状态。 is_register 否 Boolean
参数名称 是否必选 参数类型 说明 id 否 String 标识ID。 cluster_name 是 String 集群名称。 status 否 String 集群状态。 is_register 否 Boolean 是否注册。 示例 成功响应示例 { "is_success":
创建过滤规则 表1 过滤规则参数说明 参数名称 说明 计算引擎 服务名,计算引擎DLI用于推荐系统的离线计算和近线计算。 集群名称,选择“资源中心”绑定的DLI集群名称。 任务配置地址,在创建作业时, 会自动生成一个JSON格式的配置源文件,该文件存储在指定的OBS路径中,计算引擎可以通过读取配置源文件来进行离线计算。
资源类型,取值DLI、CloudTable。 cloudtable_cluster_id 是 String cloudtable集群ID。 dli_cluster_name 是 String DLI集群名称。 响应消息 响应参数请参见表3-响应参数说明。 表3 响应参数说明 参数名称 是否必选 参数类型 说明
是 String 集群名称,最大长度64。 表5 resource_info参数说明(CloudTable) 参数名称 是否必选 参数类型 说明 cluster_id 是 String 集群ID,最大长度64字符。 cluster_name 是 String 集群名称,最大长度64字符。
单击“保存”后,进行“测试运行”。确保功能正常。 在页面右侧,单击“调度配置”,根据需求设置任务的调度周期及其他参数。 在页面作业,选择“运维调度>作业监控”,单击“执行调度”,调度完成可单击作业名称左侧查看调度详情。 父主题: 重新执行作业
创建组合作业参数说明 模块 参数名称 说明 计算引擎 服务名 计算引擎用于推荐系统的离线计算和近线计算。默认DLI。 集群名称 选择“资源中心”绑定的DLI集群名称。 任务配置地址 在创建作业时, 会自动生成一个JSON格式的配置源文件,该文件存储在指定的OBS路径中,计算引擎可以通过读取配置源文件来进行离线计算。
指定集群名称和表名用于存储更新后的用户画像。 不涉及。 物品画像存储 指定存储物品画像的存储平台信息。服务名默认CloudTable,指定集群名称和表名用于存储更新后的用户画像。 不涉及。 过滤存储 指定存储过滤集合的存储平台信息。服务名默认CloudTable,指定集群名称和表名用于存储更新后的用户画像。
platform_parameter参数说明 参数名称 是否必选 参数类型 说明 cluster_name 是 String 集群名称。 cluster_id 否 String 集群ID。 表5 filter_rules参数说明 参数名称 是否必选 参数类型 说明 name 是 String 过滤名称。
请求参数请参见表2-请求参数说明。 表2 请求参数说明 参数名称 是否必选 参数类型 说明 cluster_id 是 String cloudtable集群ID。 响应消息 响应参数请参见表3-响应参数说明。 表3 响应参数说明 参数名称 是否必选 参数类型 说明 is_success 是 Boolean