检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击CloudTable集群名称操作列的“开启公共终端节点”,待页面提示“开启公共终端节点成功”即可正常使用集群。 当您不再使用该集群,请先进行解绑,然后在服务对应的管理控制台删除集群。 父主题: 管理资源
开通DLI集群大小就是根据业务需求对集群进行扩容缩容,计算资源最多设置5个。计算资源支持的操作包括: 创建计算资源 编辑计算资源 删除计算资源 创建计算资源 登录RES管理控制台,在“全局配置”页面的计算资源区域,单击“创建”添加计算资源。
前提条件 已开通计算引擎DLI服务,创建集群并完成资源绑定。 创建跨源链接 DLI集群绑定完成后,创建跨源链接。步骤如下: 登录RES管理控制台,在“资源中心”页面,选择计算引擎DLI进入列表。 单击DLI集群名称,进入“跨源连接”页面。
数据质量管理 数据结构 数据导入 数据探索 父主题: 数据源管理
clusters 是 List 请参见表4,集群列表。 表4 clusters参数说明 参数名称 是否必选 参数类型 说明 id 否 String 标识ID。 cluster_name 是 String 集群名称。 status 否 String 集群状态。
cloudtable_cluster_id 是 String cloudtable集群ID。 dli_cluster_name 是 String DLI集群名称。 响应消息 响应参数请参见表3-响应参数说明。
绑定或解绑资源 在RES管理控制台界面,资源中心列表中会提供当前账号创建的DLI集群、CloudTable开启IAM认证的集群和DIS通道供用户选择进行绑定或解绑。 背景信息 绑定资源之后,将该资源应用于RES的作业训练及在线作业获取推荐结果。
集群名称 选择“资源中心”绑定的CloudTable集群名称。 表名 存储的表格名称。 您可以单击设置数据版本。RES的数据版本有两种,“V1”版本即数据按照原有格式存储,未做过分区处理。
cluster_name 是 String 集群名称。 status 否 String 集群状态。 is_register 否 Boolean 是否注册。
DLI创建集群操作详请参见数据湖探索用户指南>Spark作业控制台>Spark集群管理>创建集群章节。 CloudTable创建集群操作详请参见表格存储服务用户指南> 集群模式> 集群操作指导> 创建集群章节。
数据质量 数据质量检测算子,是用户在进行离线计算之前使用原始初始格式数据(离线数据源中的离线数据)或者通用格式数据检测输入数据是否合法。包括离线数据中是否包含特殊字符,数据类型是否正确,是否缺少必备信息等。 前提条件 已将离线数据上传至OBS桶中。 创建数据质量作业 创建数据质量操作步骤如下
创建跨源连接 开启公共终端节点 推荐系统在需要使用CloudTable集群进行数据存储,需开启公共终端节点之后推荐才能正常使用CloudTable集群。
putRecordsRequest = new PutRecordsRequest(); putRecordsRequest.setStreamId(streamId); List<PutRecordsRequestEntry> putRecordsRequestEntryList
400 RES.3004 Basic Error 数据库资源模型配置出错 请联系管理员检查数据库模型配置。 400 RES.3005 Basic Error 数据源连接配额不足 您可以构建最多5数据连接。请及时清理连接。
putRecordsRequest = new PutRecordsRequest(); putRecordsRequest.setStreamId(streamId); List<PutRecordsRequestEntry> putRecordsRequestEntryList
DLI集群建议创建跨源连接,通过RPC方式访问,提高读写性能。 开通存储平台CloudTable CloudTable作为存储平台,用于用户推荐在线数据和推荐候选集的存储。在使用推荐系统之前,您需要开通表格存储服务(CloudTable Service)来创建集群。 登录华为云。
表4 platform_parameter参数说明 参数名称 是否必选 参数类型 说明 cluster_name 是 String 集群名称。 cluster_id 否 String 集群ID。
表5 resource_info参数说明(CloudTable) 参数名称 是否必选 参数类型 说明 cluster_id 是 String 集群ID,最大长度64字符。 cluster_name 是 String 集群名称,最大长度64字符。
集群名称:指定对应的集群名称。 表名:选择对应表名称。您可以单击设置数据版本。RES的数据版本有两种,“V1”版本即数据按照原有格式存储,未做过分区处理。
集群名称,选择“资源中心”绑定的DLI集群名称。 任务配置地址,在创建作业时, 会自动生成一个JSON格式的配置源文件,该文件存储在指定的OBS路径中,计算引擎可以通过读取配置源文件来进行离线计算。 资源名,指定DLI运行作业的资源规格。