检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
手动在OBS表的分区目录下添加了数据，但是无法查询到数据怎么办？ 为什么insert overwrite覆盖分区表数据的时候，覆盖了全量数据？ 跨源连接RDS表中create_date字段类型是datetime，为什么DLI中查出来的是时间戳呢？ SQL作业执行完成后，修改表名导致datasize不正确怎么办？
通过DLI跨源写DWS表，非空字段出现空值异常怎么办？ 问题现象 客户在DWS建表，然后在DLI创建跨源连接读写该表，突然出现如下异常，报错信息显示DLI向该表某非空字段写入了空值，因为非空约束存在导致作业出错。 报错信息如下： DLI.0999: PSQLException: ERROR:
maxPartitionBytes 134217728 读取文件时要打包到单个分区中的最大字节数。 spark.sql.badRecordsPath - Bad Records的路径。 spark.sql.legacy.correlated.scalar.query.enabled false 该参数设置为true：
join表时没有添加on条件，造成笛卡尔积查询，导致队列资源爆满，作业运行失败怎么办？ 问题现象 运行的SQL语句中存在join表，但是join没有添加on条件，多表关联造成笛卡尔积查询，最终导致队列资源占满，该队列上的作业运行失败。 例如，如下问题SQL语句，存在三个表的left
如请求样例中的“test”文件夹。 data_type 是 String 导出数据的类型，目前API支持csv和json格式数据。 database_name 是 String 被导出数据的表所在的数据库名称。 table_name 是 String 被导出数据的表名称。 compress
Hudi Clustering操作说明 什么是Clustering 即数据布局，该服务可重新组织数据以提高查询性能，也不会影响摄取速度。 Clustering架构 Hudi通过其写入客户端API提供了不同的操作，如insert/upsert/bulk_insert来将数据写入Hu
dli_elastic_resource_pool：弹性资源池 dli_enhanced_datasource：增强型跨源连接 dli_database：数据库 dli_package_resource：资源包（不支持指定有Module ID的内置资源包） dli_flink_job：Flink作业
Flink作业性能调优 性能调优相关基本概念 消费组积压 消费组积压可通过topic最新数据offset减去该消费组已提交最大offset计算得出，说明的是该消费组当前待消费的数据总量。 如果Flink作业对接的是kafka专享版，则可通过云监控服务(CES)进行查看。具体可选择“云服务监控
配置DLI读写外部数据源数据的操作流程 DLI执行作业需要读写外部数据源时需要具备两个条件： 打通DLI和外部数据源之间的网络，确保DLI队列与数据源的网络连通。 妥善保存数据源的访问凭证确保数据源认证的安全性，便于DLI安全访问数据源。 本节操作介绍配置DLI读写外部数据源数据操作流程。
maxPartitionBytes 134217728 读取文件时要打包到单个分区中的最大字节数。 spark.sql.badRecordsPath - Bad Records的路径。 spark.sql.legacy.correlated.scalar.query.enabled false 该参数设置为true：
secret_key：your-sk queue：your-queue-name database: your-dli-database schema: your-dli-schema 表1 DBT连接DLI参数说明 参数 是否必选 说明
PARTITION：分区。 参数说明 表1 参数描述 参数 描述 db_name Database名称，由字母、数字和下划线（_）组成。不能是纯数字，且不能以下划线开头。 table_name Database中的表名，由字母、数字和下划线（_）组成。不能是纯数字，且不能以下划线开头。匹配规则为：^(
参考》。 与关系型数据库服务（RDS）的关系 关系型数据库（Relational Database Service）作为DLI的数据来源及数据存储，与DLI配合一起使用，关系有如下两种。 数据来源：DLI服务提供DataFrame和SQL方式从RDS中导入数据到DLI。 存储查询
定资源。 表1 DLI的指定资源与对应路径 资源类型 资源名称 资源路径 queue DLI队列 queues.queuename database DLI数据库 databases.dbname table DLI表 databases.dbname.tables.tbname
清空数据 导出查询结果 多版本备份恢复数据 表生命周期管理 跨源连接HBase表 跨源连接OpenTSDB表 跨源连接DWS表 跨源连接RDS表 跨源连接CSS表 跨源连接DCS表 跨源连接DDS表 跨源连接Oracle表 视图 查看计划 数据权限管理 数据类型 自定义函数 内置函数
REVOKE_PRIVILEGE 队列权限的回收 √ × √ √ SHOW_PRIVILEGES 查看其他用户具备的队列权限 √ × √ √ 数据库 DROP_DATABASE 删除数据库 √ × √ √ CREATE_TABLE 创建表 √ × √ √ CREATE_VIEW 创建视图 √ × √ √ EXPLAIN
sql("CREATE TABLE IF NOT EXISTS dli_to_dws USING JDBC OPTIONS ('url'='jdbc:postgresql://10.0.0.233:8000/postgres','dbtable'='test','user'='dbadmin','password'='**')");
增强型跨源连接的优势： 网络连通性：直接打通DLI与目的数据源的VPC网络实现数据互通。 支持多种数据源：支持DLI与多种数据源的网络连通，例如DWS，RDS，CSS，DCS等数据源。 父主题： 增强型跨源连接类
hive.NonPartitionedExtractor"). option("hoodie.datasource.hive_sync.database", databaseName). option("hoodie.datasource.hive_sync.table", tableName)
SQL/Flink SQL，支持多种接入方式，并兼容主流数据格式。数据无需复杂的抽取、转换、加载，使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。 您可以使用本文档提供API对数据湖探索进行相关操作，包括队列
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
