检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用跨源认证则无需在作业中配置账号和密码。
导入前清空数据 选择导入前是否清空目的表的数据。当前示例选择为“否”。 如果设置为是，任务启动前会清除目标表中数据。 详细的参数配置可以参考：CDM配置DLI目的端参数。 单击“下一步”，进入到字段映射界面，CDM会自动匹配源和目的字段。
导入数据 插入数据相关语法 插入数据 清空数据相关语法 清空数据 导出查询结果相关语法 导出查询结果 跨源连接HBase表相关语法 创建表关联HBase 插入数据至HBase表 查询HBase表 跨源连接OpenTSDB表相关语法 创建表关联OpenTSDB 插入数据至OpenTSDB
SQL作业相关API 包括导入数据、导出数据、提交SQL作业、取消作业、查询所有作业、预览作业结果、查询作业状态、查询作业详细信息、检查SQL语法和导出查询结果。 SQL模板相关API 包括保存SQL模板、创建作业模板等模板相关API。
createDatabase 删除数据库 database deleteDatabase 修改数据库所有者 database alterDatabaseOwner 创建表 table createTable 删除表 table deleteTable 导出表数据 table exportData 导入表数据
以导入数据作业，建表作业和查询作业为例说明。其他作业类型支持查看的详细信息请以控制台信息为准。
sink.properties.* -- 否 Stream Load 的导入参数。
使用跨源认证则无需在作业中配置账号和密码。
对跨源DWS表执行insert overwrite操作，报错：org.postgresql.util.PSQLException: ERROR: tuple concurrently updated 通过跨源表向CloudTable Hbase表导入数据，executor报错：RegionTooBusyException
用户若配置该配置项则不用在SQL中配置账号和密码。 分区扫描功能介绍 为了加速Source任务实例中的数据读取，Flink为JDBC表提供了分区扫描功能。以下参数定义了从多个任务并行读取时如何对表进行分区。
通过IAM，您可以在华为云账号中给员工创建IAM用户，并使用策略来控制他们对华为云资源的访问范围。 目前包括角色（粗粒度授权）和策略（细粒度授权）。具体的权限介绍和授权操作请参考《数据湖探索用户指南》。 创建队列。
使用跨源认证则无需在作业中配置账号和密码。
所有资源：授权后，IAM用户可以根据权限使用账号中所有资源，包括企业项目、区域项目和全局服务资源。 全局服务资源：全局服务部署时不区分区域，访问全局级服务，不需要切换区域，全局服务不支持基于区域项目授权。如对象存储服务（OBS）、内容分发网络（CDN）等。
将CSV数据导入DLI，并将CSV数据转换为Parquet数据。
代码实现详解 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.11</artifactId> <version>2.3.2
导入数据时，默认时间戳格式为“yyyy-MM-dd HH:mm:ss”，如果采用其他日期格式，可打开“高级选项”手动输入（本示例该选项不做修改）。 图5 导入表数据 执行查询 执行以下SQL语句，对所有司机在某段时间的异常告警事件进行统计。
使用跨源认证则无需在作业中配置账号和密码。 示例 该示例是从DWS数据源中读取数据，并写入到Print结果表中，其具体步骤参考如下： 在DWS中创建相应的表，表名为dws_order，SQL语句参考如下。
表1 DLI常用开发指南与最佳实践 场景 操作指导 描述 Spark SQL作业开发 使用Spark SQL作业分析OBS数据 介绍使用Spark SQL作业创建OBS表、导入OBS表数据、插入和查询OBS表数据等操作。
使用跨源认证则无需在作业中配置置账号和密码。 示例 该示例是利用MySQL-CDC实时读取RDS MySQL中的数据，并写入到Print结果表中，其具体步骤如下（本示例使用RDS MySQL数据库引擎版本为MySQL 5.7.32）。
开发指导 Spark SQL语法参考 提供SQL数据库、表、分区、导入及导出数据、自定义函数、内置函数等语法说明和样例指导。 使用Spark作业访问DLI元数据 提供SQL作业开发的操作指引和样例代码参考。 Spark SQL 相关API 提供SQL相关API的使用说明。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
