检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
据源的网络连通。 本节操作为您介绍跨VPC的数据源网络连通方案： 创建增强型跨源连接：采用对等连接的方式打通DLI与数据源的VPC网络。 测试网络连通性：验证队列与数据源网络连通性。 目前DLI支持跨源访问的数据源请参考DLI常用跨源分析开发方式。 在跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，Spark
已经给表授权，但是提示无法查询怎么办？ 已经给表授权，且测试查询成功，但一段时间后重试报错无法查询，此时应先检查当前表的权限是否还存在， 检查权限是否仍然存在： 如用户权限被取消则可能导致提示权限缺失无法查询表数据。 查看表的创建时间： 查看表是否被他人删除重建，删除表后重建的相
通过合理设置队列的计算资源池分配策略，提高计算资源利用率。 DLI弹性资源池之间为物理集群隔离，同一个弹性资源池中的队列之间为逻辑隔离。 建议您对测试业务场景和生产业务场景分别创建弹性资源池，通过资源物理隔离的方式，保障资源管理的独立性和安全性。 DLI提供的弹性资源池规格如表1所示。 表1
跨源连接状态 图13 详情 测试队列与RDS、DMS实例连通性。 单击“队列管理”，选择您所使用的队列，单击“操作”列中的“更多”>“测试地址连通性”。 图14 检测地址连通性 输入DMS Kafka实例连接地址和步RDS MySQL实例内网地址，进行网络连通性测试。 测试结果显示可达，则D
注意该字符串的格式必须为"yyyy-MM-dd"格式，否则语义校验会报错。 示例 测试语句 SELECT DATE "2021-08-19" AS `result` FROM testtable; 测试结果 result 2021-08-19 TIME 功能描述 将时间字符串以"HH:mm:ss[
注意该字符串的格式必须为"yyyy-MM-dd"格式，否则语义校验会报错。 示例 测试语句 SELECT DATE "2021-08-19" AS `result` FROM testtable; 测试结果 result 2021-08-19 TIME 功能描述 将时间字符串以"HH:mm:ss[
注意该字符串的格式必须为"yyyy-MM-dd"格式，否则语义校验会报错。 示例 测试语句 SELECT DATE "2021-08-19" AS `result` FROM testtable; 测试结果 result 2021-08-19 DATE_ADD 功能描述 DATE
队列相关API（推荐） 创建队列 删除队列 查询所有队列 查询队列详情 重启/扩容/缩容队列 创建指定地址连通性测试请求 查询指定地址连通性测试详情
示例 下面的示例展示了一个经典的业务流水线，维度表来自 Hive，每天通过批处理流水线作业或 Flink 作业更新一次，kafka流来自实时在线业务数据或日志，需要与维度表连接以扩充流。 使用spark sql 创建 hive obs 外表，并插入数据。 CREATE TABLE if
TRING”数据类型。建表成功后插入测试数据到“array_test”中。操作如下： 创建表。 CREATE TABLE array_test(name STRING, id ARRAY < INT >) USING PARQUET; 插入测试数据。 INSERT INTO array_test
列。然后设置安全组，入向规则，使其对当前将要使用的队列放开，并根据kafka的地址测试队列连通性（通用队列-->找到作业的所属队列-->更多-->测试地址连通性-->输入kafka的地址-->测试）。若能连通，则表示跨源已经绑定成功；否则表示未成功。 创建flink opensource
增强型跨源创建后状态为“已激活”，但不能说明队列和数据源已连通。建议前往队列管理页面测试数据源网络是否打通。操作步骤如下： 在队列管理页面选择队列。 单击“操作”列中的“更多 > 测试地址连通性”。 输入数据源的“IP:端口”测试网络连通性。 在增强型跨源连接的详情页可以查看对等连接的相关信息。
统按超时取消处理。 用户可以通过dli.sql.job.timeout（单位是秒）参数配置超时时间。 DLI支撑本地测试Spark作业吗? DLI暂不支持本地测试Spark作业，您可以安装DLI Livy工具，通过Livy工具提供的交互式会话能力调测Spark作业。 推荐使用使用Livy提交Spark
选择增强型跨源所绑定的队列，单击操作列“更多 > 测试地址连通性”。 输入数据源连接地址和端口，测试网络连通性。 格式：IP:端口 测试连接前，请确保外部数据源的安全组已放通队列的网段。 图3 测试队列与数据源的网络连通性 相关操作 创建跨源成功但测试网络连通性失败怎么办？ 父主题： 配置DLI与数据源网络连通（增强型跨源连接）
列。然后设置安全组，入向规则，使其对当前将要使用的队列放开，并根据kafka的地址测试队列连通性（通用队列 > 找到作业的所属队列 > 更多 > 测试地址连通性 > 输入kafka的地址 > 测试）。如果能连通，则表示跨源已经绑定成功；否则表示未成功。 创建flink opensource
由信息。 详细操作请参考自定义路由信息。 图8 增强型跨源链接添加测试路由信息 步骤7：测试公网连通性 测试队列到公网的连通性。单击队列操作列下方的“更多 > 测试地址连通性”，输入访问的公网IP地址。 图9 测试地址联通性 父主题： 配置DLI读写外部数据源数据
单击“确定”完成主机信息添加。 步骤5：测试网络连通性 单击“队列管理”，选择操作的队列，在操作列，单击“更多 > 测试地址连通性”。 在“测试连通性”界面，根据步骤1：获取外部数据源的内网IP、端口和安全组中获取的数据源的IP和端口，地址栏输入“数据源内网IP:数据源端口”，单击“测试”测试DLI到外部数据源网络是否可达。
的增强型跨源，并绑定所要使用的Flink弹性资源池。 设置DWS的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根据DWS的地址测试队列连通性。若能连通，则表示跨源已经绑定成功，否则表示未成功。 参考创建Flink OpenSource作业，创建flink
的队列。然后设置安全组，入向规则，使其对当前将要使用的队列放开，并根据kafka的地址测试队列连通性（通用队列> 找到作业的所属队列> 更多> 测试地址连通性 > 输入kafka的地址 > 测试）。如果能连通，则表示跨源已经绑定成功；否则表示未成功。 创建flink opensource
表示永久不失效。 compaction.async.enabled 否 false Boolean 是否开启在线压缩。 true：开启 false：关闭 建议关闭在线压缩，提升性能。但是调度compaction.schedule.enabled仍然建议开启，之后可通过离线异步压缩，执行阶段性生成的压缩plan。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
