检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
e路径和密码。详细操作请参考创建Kafka_SSL类型跨源认证。 Password类型的跨源认证：适用于DWS、RDS、DDS、DCS数据源，配置时将数据源的密码信息存储到DLI。详细操作请参考创建Password类型跨源认证。 支持跨源认证的数据源与作业类型 不同类型的作业支持跨源认证的数据源与认证方式不同。
创建Hbase维表 功能描述 创建Hbase维表用于与输入流连接。 前提条件 该场景作业需要运行在DLI的独享队列上，因此要与HBase建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何
网配置。客户的DWS子网关联了网络ACL。网络ACL是一个子网级别的可选安全层，通过与子网关联的出方向/入方向规则控制出入子网的数据流。关联子网后，网络ACL默认拒绝所有出入子网的流量，直至添加放通规则。通过检查，发现其DWS所在子网关联的ACL是空值。 因此，问题的原因是：客户
信息”中的路由。“路由信息”中的路由为所绑定的队列下子网关联的路由表中的路由。 目的数据源子网与队列所在子网为不同的子网，否则会造成网段冲突。 主机信息 可选参数，用于配置主机的IP与域名的映射关系，在作业配置时只需使用配置的域名即可访问对应的主机。 例如：访问MRS的HBase
到指定的下一跳地址。 了解更多路由相关信息请参考路由表。 创建增强型跨源时的路由表是数据源子网关联的路由表。 添加路由信息页的路由是弹性资源池子网关联的路由表中的路由。 数据源子网与弹性资源池所在子网为不同的子网，否则会造成网段冲突。 操作步骤 登录DLI管理控制台。 在左侧导航栏中，选择“跨源管理
System.out.println(table); } } 查询表的分区信息（包含分区的创建和修改时间） DLI提供查询表分区信息的接口。您可以使用该接口查询数据库下表的分区信息（包括分区的创建和修改时间）。示例代码如下： 1 2 3 4 5 6 7 8
Spark应用每个Executor的CPU核数。该配置项会替换sc_type中对应的默认参数。 numExecutors 否 Integer Spark应用Executor的个数。该配置项会替换sc_type中对应的默认参数。 obs_bucket 否 String 保存Spark作业的obs桶名，需要保存作业时配置该参数。
权限 > 用户”，单击“添加用户”，在添加用户页面分别配置如下参数。 用户名：自定义的用户名。当前示例输入为：hivetestusr。 用户类型：当前选择为“人机”。 密码和确认密码：输入当前用户名对应的密码。 用户组和主组：选择supergroup 角色：同时选择2中创建的角色和Manager_viewer角色。
使用DLI的跨源认证管理数据源访问凭证 跨源认证概述 创建CSS类型跨源认证 创建Kerberos跨源认证 创建Kafka_SSL类型跨源认证 创建Password类型跨源认证 跨源认证权限管理 父主题： 配置DLI读写外部数据源数据
Kafka数据至DLI。 前提条件 已创建DLI的SQL队列。创建DLI队列的操作可以参考创建DLI队列。 创建DLI队列时队列类型需要选择为“SQL队列”。 已创建包含Kafka组件的MRS安全集群。具体创建MRS集群的操作可以参考创建MRS集群。 本示例创建的MRS集群版本为：MRS 3
Hive兼容表是以Hive兼容的方式存储的，他们的元数据和实际的数据都在分层存储中。因此，通过flink创建的与hive兼容的表，可以通过hive查询。 Hive通用表是特定于Flink的。当使用HiveCatalog创建通用表时，只是使用HMS来持久化元数据。虽然这些表对Hive来说是可见的，但Hi
select语句更新视图的定义。 注意事项 所要创建的视图必须是当前数据库下不存在的，否则会报错。当视图存在时，可通过增加OR REPLACE关键字来避免报错。 视图中包含的表或视图信息不可被更改，如有更改可能会造成查询失败。 如果创建表和创建视图使用的计算引擎不一致，可能会因为
示例3：使用CTAS语句将源表的全部数据或部分数据创建新的OBS表 示例说明：根据示例1：创建OBS非分区表中创建的OBS表table1，使用CTAS语法将table1中的数据复制到table1_ctas表中。 在使用CTAS建表的时候，可以忽略被复制的表在建表时所使用的语法，即不论在创建table
配置DLI读写外部数据源数据的操作流程 DLI执行作业需要读写外部数据源时需要具备两个条件： 打通DLI和外部数据源之间的网络，确保DLI队列与数据源的网络连通。 妥善保存数据源的访问凭证确保数据源认证的安全性，便于DLI安全访问数据源。 本节操作介绍配置DLI读写外部数据源数据操作流程。
适用于当用户切换区域、项目或用户时，需要创建相同的作业，而作业比较多的情况。此时，不需要重新创建作业，只需要将原有的作业导出，再在新的区域、项目或者使用新的用户登录后，导入作业即可。 如果需要导入自建的作业，建议使用创建作业的功能。 具体请参考创建Flink OpenSource SQL作业，创建Flink
数据连接名称：用户自定义数据连接名称。 驱动：选择2.a中的驱动。 数据库名称：DLI的数据库名称。 主机：安装Kyuubi主机IP地址。 端口：访问Kyuubi主机的端口。端口默认10009 认证方式：本例选择密码认证方式。 用户名：Kyuubi数据库的访问凭证，Kyuubi用户名。
在开始页面的“连接”窗格中，选择你想要连接的数据源类型。本例选择Hive类型的数据连接。 配置数据连接信息。 连接：Hive 服务器：Kyuubi主机的IP地址。 端口：连接Kyuubi的端口，Hive Thrift协议对接，默认端口10009。 身份验证：本例选择用户名的认证方式。 用户名：Kyuubi用户名。 单击“登录”连接Kyuubi。
创建并提交Spark作业 场景描述 本章节指导用户通过API创建并提交Spark作业。 约束限制 新队列第一次运行作业时，需要一定的时间，通常为6~10分钟。 涉及接口 创建弹性资源池：创建弹性资源池。 创建队列：在弹性资源池中添加队列。 上传分组资源：上传Spark作业所需的资源包。
创建并提交Flink作业 场景描述 本章节指导用户通过API创建并运行Flink自定义作业。 约束限制 新队列第一次运行作业时，需要一定的时间，通常为6~10分钟。 涉及接口 创建弹性资源池：创建弹性资源池。 创建队列：在弹性资源池中添加队列。 上传分组资源：上传Flink自定义作业所需的资源包。
“default”为内置数据库，不能创建名为“default”的数据库。 示例 完整的SQL作业提交流程您可以参考《快速入门》中的《提交SQL作业》等章节描述。 队列是使用DLI服务的基础，执行SQL前需要先创建队列。具体可以参考《用户指南》中的“创建队列”章节。 在DLI管理控制台，单击左侧导航栏中的“SQ
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
