检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hudi表在Hive元数据中，应该会存在1张内部表（手动创建），2张外部表（写入数据后自动创建）。 2张外部表，表名_ro（用户只读合并后的parquet文件，即读优化视图表），_rt（读实时写入的最新版本数据，即实时视图表）。 父主题： Bucket调优示例
代码，并根据实际业务场景进行相应的编辑和定制。获取DLI样例代码。 操作流程 使用DLI提交Spark Jar作业的操作流程如表1所示。 开始进行如下操作前，请务必参考准备工作完成必要操作。 表1 使用DLI提交Spark Jar作业的操作流程 操作步骤 说明 步骤1：上传数据至OBS
API使用前必读 概述 调用说明 终端节点 约束与限制 基本概念
Spark作业开发类 Spark作业使用咨询 Spark如何将数据写入到DLI表中 通用队列操作OBS表如何设置AK/SK 如何查看DLI Spark作业的实际资源使用情况 将Spark作业结果存储在MySQL数据库中，缺少pymysql模块，如何使用python脚本访问MySQL数据库？ 如何在DLI中运行复杂PySpark程序？
使用Flink Jar连接开启SASL_SSL认证的Kafka 概述 本节操作介绍使用Flink Jar连接开启SASL_SSL认证的Kafka的操作方法。 如需使用Flink OpenSource SQL连接开启SASL_SSL认证的Kafka，请参考Flink SQL语法参考-Kafka源表。
步骤1：安装并配置Kyuubi连接DLI 如需使用外网访问Kyuubi请确保弹性云服务器绑定弹性公网IP，并配置安全组入方向开启10009和3309端口。 安装JDK。 在安装和使用Kyuubi前，确保您的开发环境已安装JDK。 Java SDK要求使用JDK1.8或更高版本。考虑到后续版本的兼容性，推荐使用1.8版本。
Flink SQL作业类 怎样将OBS表映射为DLI的分区表？ Flink SQL作业Kafka分区数增加或减少，怎样不停止Flink作业实现动态感知？ 在Flink SQL作业中创建表使用EL表达式，作业运行提示DLI.0005错误怎么办？ Flink作业输出流写入数据到OBS
代码，并根据实际业务场景进行相应的编辑和定制。获取DLI样例代码。 操作流程 使用DLI提交Flink Jar作业的操作流程请参考表1。 开始进行如下操作前，请务必参考准备工作完成必要操作。 表1 使用DLI提交Flink Jar作业的操作流程 操作步骤 说明 步骤1：开发Jar包并上传数据至OBS
--queue <queue_name> word_count.py 请使用"./spark-submit"，不要使用"spark-submit"，后者可能会使用本地环境中已有的Spark环境，而不是DLI队列。 父主题： 使用客户端工具连接DLI
业管理页面，新创建的作业将显示在作业列表中，在“状态”列中可以查看作业状态。 作业提交成功后，状态将由“提交中”变为“运行中”。运行完成后显示“已完成”。 如果作业状态为“提交失败”或“运行异常”，表示作业提交或运行失败。用户可以在作业列表中的“状态”列中，将鼠标移动到状态图标上
使用Flink Jar读写DIS开发指南 概述 本节操作介绍基于Flink 1.12版本的Flink Jar作业读写DIS数据的操作方法。 Flink 1.12版本Flink Opensource SQL作业不支持使用DLI提供的connector读写DIS，因此推荐您使用本节操作提供的方法。
Password类型跨源认证支持连接的数据源 作业类型 表类型 数据源 Spark SQL - DWS、RDS、DDS、Redis Flink OpenSource SQL 源表 DWS、RDS、Redis 结果表 DWS、RDS、CSS、Redis 维表 DWS、RDS、Redis 操作步骤 创建跨源认证。
DLI支持的Prometheus基础监控指标 表1提供了DLI支持的Prometheus基础监控指标，AOM Prometheus支持免费存储基础指标。 除基础指标外，AOM Prometheus提供的自定义指标按计费规则付费使用。 表1 DLI支持的Prometheus监控指标 监控指标
Hudi 结果表 功能描述 Flink SQL作业写Hudi表。 更多具体使用可参考开源社区文档：Hudi。 注意事项 推荐使用SparkSQL统一建表 表名必须满足Hive格式要求 表名必须以字母或下划线开头，不能以数字开头。 表名只能包含字母、数字、下划线。 表名长度不能超过128个字符。
跨源RDS表，执行insert overwrite提示Incorrect string value错误怎么办？ 问题现象 客户在数据治理中心DataArts Studio创建DLI的跨源RDS表，执行insert overwrite语句向RDS写入数据报错：DLI.0999: B
其他参数保持默认即可。 步骤3：创建RDS数据库和表 登录RDS管理控制台，在“实例管理”界面，选择已创建的RDS MySQL实例，选择操作列的“更多 > 登录”，进入数据管理服务实例登录界面。 输入实例登录的用户名和密码。单击“登录”，即可进入RDS MySQL数据库并进行管理。 在数据
步骤1：安装并配置Kyuubi连接DLI 如需使用外网访问Kyuubi请确保弹性云服务器绑定弹性公网IP，并配置安全组入方向开启10009和3309端口。 安装JDK。 在安装和使用Kyuubi前，确保您的开发环境已安装JDK。 Java SDK要求使用JDK1.8或更高版本。考虑到后续版本的兼容性，推荐使用1.8版本。
dir”即可开启回收站功能。开启和关闭多版本语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表，具体建表SQL语法可以参考使用Hive语法创建OBS表。 语法格式 1 2 ALTER TABLE [db_name.]table_name SET TBLPROPERTIES
操作的DWS表名。如果该DWS表在某schema下，则具体可以参考如果该DWS表在某schema下的说明。 driver 否 org.postgresql.Driver String jdbc连接驱动，默认为: org.postgresql.Driver。 使用gsjdbc4驱动连接时，加载的数据库驱动类为：org
理其中的数据，目前支持的DLI跨源访问服务有：表格存储服务CloudTable，云搜索服务CSS，分布式缓存服务DCS，文档数据库服务DDS，数据仓库服务GaussDB（DWS），MapReduce服务MRS，云数据库RDS等。使用DLI的跨源能力，需要先创建跨源连接。 管理控制
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
