检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
字符码不一致导致数据乱码怎么办？ 在DLI执行作业时，为了避免因字符编码不一致导致的乱码问题，建议您统一数据源的编码格式。 DLI服务只支持UTF-8文本格式，因此在执行创建表和导入操作时，用户的数据需要以UTF-8编码。 在将数据导入DLI之前，确保源数据文件（如CSV、JSO
安全组规则。 ECS需安装Java JDK，JDK版本建议为1.8。配置Java环境变量JAVA_HOME。 查询弹性云服务器ECS详细信息，获取ECS的“私有IP地址”。 使用增强型跨源连接打通DLI队列和Livy实例所在的VPC网络。具体操作可以参考增强型跨源连接。 DLI Livy工具下载及安装
SQL作业开发 从Kafka读取数据写入到RDS 从Kafka读取数据写入到DWS 从Kafka读取数据写入到Elasticsearch 从MySQL CDC源表读取数据写入到DWS 从PostgreSQL CDC源表读取数据写入到DWS Flink作业高可靠推荐配置指导（异常自动重启）
failure错误怎么办？ 跨源访问MRS HBase，连接超时，日志未打印错误怎么办？ DLI跨源连接报错找不到子网怎么办？ 跨源RDS表，执行insert overwrite提示Incorrect string value错误怎么办？ 创建RDS跨源表提示空指针错误怎么办？ 对跨源DWS表执行insert
Flink作业咨询类 如何给子用户授权查看Flink作业？ Flink作业怎样设置“异常自动重启”？ Flink作业如何保存作业日志？ Flink作业管理界面对用户进行授权时提示用户不存在怎么办？ 手动停止了Flink作业，再次启动时怎样从指定Checkpoint恢复？ DLI使
怎样查看DLI的数据扫描量？ 登录DLI管理控制台。 选择“作业管理 > SQL作业”。 筛选执行队列为default队列，查看相应的作业。 单击展开作业，查看已扫描的数据。如图1所示。 图1 查看作业扫描量 父主题： 计费相关问题
创建源表 DataGen源表 DWS源表 Hbase源表 JDBC源表 Kafka源表 MySQL CDC源表 Postgres CDC源表 Redis源表 Upsert Kafka源表 FileSystem源表 父主题： 数据定义语句DDL
创建OBS外表，由于OBS文件中的某字段存在换行符导致表字段数据错误怎么办？ 问题现象 创建OBS外表，因为指定的OBS文件内容中某字段包含回车换行符导致表字段数据错误。 例如，当前创建的OBS外表语句为： CREATE TABLE test06 (name string, id
Jobmanager与Taskmanager心跳超时，导致Flink作业异常怎么办？ 问题现象 Jobmanager与Taskmanager心跳超时，导致Flink作业异常。 图1 异常信息 根因分析 检查网络是否发生闪断，分析集群负载是否很高。 如果频繁出现Full GC, 建议排查代码，确认是否有内存泄漏。
查询OpenTSDB表 SELECT命令用于查询OpenTSDB表中的数据。 若OpenTSDB上不存在metric，查询对应的DLI表会报错。 若OpenTSDB开了安全模式，则访问时，需要设置conf:dli.sql.mrs.opentsdb.ssl.enabled=true
产品优势 纯SQL操作 DLI提供标准SQL接口，用户仅需使用SQL便可实现海量数据查询分析。SQL语法全兼容标准ANSI SQL 2003。 存算分离 DLI解耦计算和存储负载，存算分离架构，存储资源和计算资源按需灵活配置，提高了资源利用率，降低了成本。 企业级多租户 支持计算
SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 语法格式 1 2 3 4 5 6 7 8 9 10 11 12 13 create table dwsSource
整个Flink环境。通过将非Connector的Flink依赖项（以flink-开头）和第三方库（如Hadoop、Hive、Hudi、Mysql-cdc）的作用域设置为provided，可以确保这些依赖项不会被包含在Jar作业中，从而实现最小化提交，避免依赖包与flink内核中依赖包冲突：
图1 归档日志 在OBS目录下，获取归档日志文件夹，详细如下。 Spark SQL作业： 查看带有“driver”或者为“container_xxx_000001”的日志文件夹则为需要查看的Driver日志目录。 图2 带有driver的归档日志文件夹名示例 图3 contain
查询作业模板列表 功能介绍 该API用于查询作业模板列表。 调试 您可以在API Explorer中调试该接口。 URI URI格式： GET /v3/{project_id}/templates?type=spark 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述
导出查询结果 功能描述 INSERT OVERWRITE DIRECTORY用于将查询结果直接写入到指定的目录，支持按CSV、Parquet、ORC、JSON、Avro格式进行存储。 语法格式 1 2 3 4 INSERT OVERWRITE DIRECTORY path USING
队列引擎版本升级后，在创建表时，提示权限不足怎么办？ 问题描述 队列版本从Spark 2.x版本切换至Spark 3.3.x版本时，或切换使用HetuEngine后，如果已经赋予IAM用户的建表权限，但是在创建表时候仍然提示权限不足。 根因分析 DLI队列的引擎版本不同，校验的权限范围不同：
DLI创建跨源连接，绑定队列一直在创建中怎么办？ 跨源连接创建慢，有以下几种可能： 购买DLI队列后，第一次进行绑定队列。通常需要等待5~10分钟，待后台拉起集群后，即可创建成功。 若刚刚对队列进行网段修改，立即进行绑定队列。通常需要等待5~10分钟，待后台重建集群后，即可创建成功。
SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭证。配置文件或者
查询作业结果-方式一（废弃） 功能介绍 该API用于在执行SQL查询语句的作业完成后，查看该作业执行的结果。目前仅支持查看“QUERY”类型作业的执行结果。 当前接口已废弃，不推荐使用。 该API只能查看前1000条的结果记录，若要查看全部的结果记录，需要先导出查询结果再进行查看，详细请参见导出查询结果。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
