检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
计划、查询队列定时扩缩容计划、批量删除队列定时扩缩容计划、单个删除队列定时扩缩容计划、修改队列定时扩缩容计划。 SQL作业相关API 包括导入数据、导出数据、提交SQL作业、取消作业、查询所有作业、预览作业结果、查询作业状态、查询作业详细信息、检查SQL语法和导出查询结果。 SQL模板相关API
分区表相关语法 添加分区（只支持OBS表） 重命名分区 删除分区 修改表分区位置（只支持OBS表） 更新表分区信息（只支持OBS表） 导入数据相关语法 导入数据 插入数据相关语法 插入数据 清空数据相关语法 清空数据 导出查询结果相关语法 导出查询结果 跨源连接HBase表相关语法 创建表关联HBase
Kafka作为源表，Print作为结果表（适用于Kafka集群已开启SASL_SSL场景） 创建DMS的kafka集群，开启SASL_SSL，并下载SSL证书，将下载的证书client.jks上传到OBS桶中。 其中，properties.sasl.jaas.config字段包含账号密码，使用DEW进行加密。
local_infile字符集 MySQL通过local_infile导入数据时，可配置编码格式。 utf8 驱动版本 CDM连接关系数据库前，需要先上传所需关系数据库的JDK8版本.jar格式驱动。MySQL的驱动请从https://downloads.mysql.com/archives/c-j/选择5
若开启安全模式，开启https： 方法1：推荐使用CSS类型跨源认证名称，并配置es_auth_name为跨源认证的名称。请注意该场景hosts字段值以https开头。 方法2：不使用跨源认证，但需要配置用户名username、密码password、证书位置certificat
不同类型的作业，显示的作业详情不同。作业详情根据作业类型、状态和配置选项不同显示可能存在差异，具体以实际界面显示为准。以导入数据作业，建表作业和查询作业为例说明。其他作业类型支持查看的详细信息请以控制台信息为准。 导入数据（load data）作业（作业类型：IMPORT），包括以下信息：队列，作业ID，用户
批作业SQL常用配置项说明 批作业SQL语法概览 Spark开源命令支持说明 数据库 创建OBS表 创建DLI表 删除表 查看表 修改表 分区表相关 导入数据 插入数据 清空数据 导出查询结果 多版本备份恢复数据 表生命周期管理 跨源连接HBase表 跨源连接OpenTSDB表 跨源连接DWS表
数据特征。数据库字段中，元数据用于诠释数据仓库的内容。 存储资源 存储资源是DLI服务内部存储的资源，用于存储数据库和DLI表，是向DLI导入数据的必备条件，体现用户数据存储在DLI中的数据量。 弹性资源池 专属的计算资源，不同弹性资源上的计算资源完全隔离，弹性资源池内的不同队列
Doris的用户名。 password -- 是 访问 Doris的密码。 sink.label-prefix "" 是 Stream load导入使用的label前缀。2pc场景下要求全局唯一 ，用来保证Flink的EOS语义。 sink.enable-2pc TRUE 否 是否开启
String SSL truststore的密码。 avro-confluent.subject 否 无 String 用于在序列化期间此格式使用的注册schema的Confluent Schema Registry主题。默认情况下，'kafka'和'upsert-kafka'连接器使用'
是路径。 说明： 如果需要将OBS上的数据导入OBS表，则建表路径必须是文件夹。建表路径是文件时，会导致数据导入失败。 obs://obs1/sampledata.csv 表头:无/有 当“数据格式”为“CSV”时，该参数有效。设置导入数据源是否含表头。 选中“高级选项”，勾选“
PSQLException: ERROR: tuple concurrently updated 通过跨源表向CloudTable Hbase表导入数据，executor报错：RegionTooBusyException 通过DLI跨源写DWS表，非空字段出现空值异常怎么办？ 更新跨源
故障处理 运行Spark作业，作业运行失败，作业日志中提示No respond错误 问题现象 运行Spark作业，作业运行失败，作业日志中提示No respond错误 解决方案 重新创建Spark作业，创建作业时需要在“Spark参数（--conf）”中添加配置：“spark.sql
Connector允许接收所有输入记录，常用于高性能测试和UDF 输出，其不是实质性Sink。Blackhole结果表是系统内置的Connector。 例如，如果您在注册其他类型的Connector结果表时报错，但您不确定是系统问题还是结果表WITH参数错误，您可以将WITH参数修改为'connector'
Connector允许接收所有输入记录，常用于高性能测试和UDF输出，其不是实质性Sink。Blackhole结果表是系统内置的Connector。 例如，如果您在注册其他类型的Connector结果表时报错，但您不确定是系统问题还是结果表WITH参数错误，您可以将WITH参数修改为'connector'
Connector允许接收所有输入记录，常用于高性能测试和UDF 输出，其不是实质性Sink。Blackhole结果表是系统内置的Connector。 例如，如果您在注册其他类型的Connector结果表时报错，但您不确定是系统问题还是结果表WITH参数错误，您可以将WITH参数修改为'connector'
查询OpenTSDB表 SELECT命令用于查询OpenTSDB表中的数据。 若OpenTSDB上不存在metric，查询对应的DLI表会报错。 若OpenTSDB开了安全模式，则访问时，需要设置conf:dli.sql.mrs.opentsdb.ssl.enabled=true
查询OpenTSDB表 SELECT命令用于查询OpenTSDB表中的数据。 若OpenTSDB上不存在metric，查询对应的DLI表会报错。 若OpenTSDB开了安全模式，则访问时，需要设置conf:dli.sql.mrs.opentsdb.ssl.enabled=true
以下步骤： 步骤1：创建并上传数据。将数据上传到对象存储服务OBS。 步骤2：使用DLI将CSV数据转换为Parquet数据。将CSV数据导入DLI，并将CSV数据转换为Parquet数据。 方案优势 提升查询性能 如果您在HDFS上拥有基于文本的数据文件或者表，而且正在使用Spark
认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现详解 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency> <groupId>org.apache.spark</groupId>
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
