检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
2020-09-22, 2020-09-23 04:30:01.741). 原因分析 DLI源表对应字段cir为double类型。 图1 创建源表 目标表对应字段类型为decimal(9,6)。 图2 创建目标表 查询源表数据,发现导致问题产生的记录ctr值为1675,整数位(4位)超出所定义的decimal精度(9
功能描述 本节操作介绍删除分区表的一个或多个分区。 分区表分为两种,OBS表和DLI表。在删除分区时,DLI表和OBS表都支持利用指定条件删除分区表的一个或多个分区。OBS表还支持按指定筛选条件删除分区。 注意事项 所要删除分区的表必须是已经存在的表,否则会出错。 所要删除的分区
join始终会加入最新版本的时态表。Flink支持分区表和 Hive非分区表的临时连接,对于分区表,Flink 支持自动跟踪Hive表的最新分区。详情可参考:Apache Flink Hive Read & Write 注意事项 Flink目前不支持与Hive表进行基于事件时间event-time的时间关联。
开头。 table_name 表名称。 注意事项 所要删除的表必须是当前数据库下存在的,否则会出错,可以通过添加IF EXISTS来避免出错。 示例 参考创建OBS表或者创建DLI表中的示例描述创建对应的表。 在当前所在数据库下删除名为test的表。 1 DROP TABLE IF
创建DLI表 使用DataSource语法创建DLI表 使用Hive语法创建DLI表 父主题: 表相关
ev2表。 Spark3.3.x:不支持支持datasourcev1表。 升级引擎版本后是否对作业有影响: 有影响,建议在Spark 2.4.5版本整改到v2表后再升级Spark 3.3.1,具体操作指导可以参考DLI datasourceV1表和datasourceV2表的中的示例。
查看表属性 功能描述 查看表的属性。 语法格式 1 SHOW TBLPROPERTIES table_name [('property_name')]; 关键字 TBLPROPERTIES:TBLPROPERTIES子句允许用户给表添加key/value的属性。 参数说明 表1 参数说明
Read & Write。 虽然所有Hive版本支持相同的语法,但是一些特定的功能对Hive版本有依赖,请参考Hive 版本。 例如,更新数据库位置 只在 Hive-2.4.0 或更高版本支持。 执行DML和DQL时应该使用HiveModule 。 从Flink 1.15版本开始,
到源和目的端的数据类型映射关系。 表2 数据类型映射表 MySQL Hive DWS Oracle PostgreSQL Hologres DLI Spark CHAR CHAR CHAR CHAR CHAR CHAR CHAR VARCHAR VARCHAR VARCHAR VARCHAR
Opensource SQL Elasticsearch结果表failure-handler参数填写retry_rejected导致提交失败 问题说明 Flink Opensource SQL Elasticsearch结果表failure-handler参数填写retry_rejected导致提交失败
topic 列表,如 'topic-1;topic-2'。 对 source 表而言,'topic' 和 'topic-pattern' 两个选项只能使用其中一个。 当表被用作 sink 时,该配置表示写入的 topic 名。注意 sink 表不支持 topic 列表。 topic-pattern
参数说明 表1 参数说明 参数 描述 table_name 表名称。 db_name 数据库名称。 注意事项 所指定的表必须是数据库中存在的表,否则会出错。 示例 查看student表中的所有列。 1 SHOW COLUMNS IN student; 父主题: 查看表
DataGen源表 功能描述 DataGen主要用于生成随机数据,可用于调试以及测试等场景。 前提条件 无 注意事项 创建DataGen表时,表字段类型不支持Array,Map和Row复杂类型,可以通过CREATE TABLE语句中的“COMPUTED COLUMN”来进行类似功能构造。
若为true,则表示输出数据到taskmanager的error文件中。 若为false,则表示输出数据到taskmanager的out中。 示例 参考创建Flink OpenSource作业,创建flink opensource sql作业,运行如下作业脚本,通过DataGen表产生随机数据并输出到Print结果表中。
查看表 查看所有表 查看建表语句 查看表属性 查看指定表所有列 查看指定表所有分区 查看表统计信息 父主题: 表相关
查看建表语句 功能描述 返回对应表的建表语句。 语法格式 1 SHOW CREATE TABLE table_name; 关键字 CREATE TABLE:建表语句。 参数说明 表1 参数说明 参数 描述 table_name 表名称。 注意事项 语句所涉及的表必须存在,否则会出错。
关于IAM项目与企业项目的区别,详情请参见:IAM与企业管理的区别。 仅在表1中的接口支持自定义授权,其他不在表格中的接口不支持自定义授权。 “√”表示支持,“x”表示暂不支持。 DLI支持自定义策略授权项如下表所示。 表1 API授权项列表 权限 对应API接口 授权项 IAM项目 (Project)
} 读优化查询:COW表读优化查询等同于快照查询。 MOR表查询 在Spark SQL作业中使用元数据服务,或者配置了HMS同步参数,在创建MOR表后,会额外同步创建:“表名_rt”和“表名_ro”两张表。查询后缀为rt的表等同于实时查询,查询后缀为ro的表代表读优化查询。例如:通过Spark
整个Flink环境。通过将非Connector的Flink依赖项(以flink-开头)和第三方库(如Hadoop、Hive、Hudi、Mysql-cdc)的作用域设置为provided,可以确保这些依赖项不会被包含在Jar作业中,从而实现最小化提交,避免依赖包与flink内核中依赖包冲突:
DLI+HetuEngine能够快速处理大规模数据集的查询请求,迅速和高效从大数据中提取信息,极大地简化了数据的管理和分析流程,提升大数据环境下的索引和查询性能。 TB级数据秒级响应: HetuEngine通过自动优化资源与负载的配比,能够对TB级数据实现秒级响应,极大提升了数据查询的效率。