检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
[Long] 作业ID。 响应消息 表3 响应参数说明 参数名称 是否必选 参数类型 说明 数组元素 否 Array of Objects 返回的响应消息组。具体请参考表4。 表4 数组元素参数说明 参数名称 是否必选 参数类型 说明 is_success 否 String 执行
命令格式 CONVERT TO DELTA [database_name.]table_name [NO STATISTICS] 参数描述 表1 CONVERT TO DELTA参数描述 参数 描述 database_name Database名称,由字母、数字和下划线(_)组成。 table_name
表示嵌套列全路径,嵌套列具体规则见ADD COLUMNS。 当前类型修改支持: int => long/float/double/string/decimal long => float/double/string/decimal float => double/String/decimal double => String/Decimal
deleteTables(Database database) throws DLIException { //调用Database对象的listAllTables接口查询所有表 List<Table> tables = database.listAllTables();
支持将 Debezium JSON解析为 INSERT / UPDATE / DELETE 消息到 Flink SQL 系统中。在很多情况下,利用这个特性非常的有用,例如 将增量数据从数据库同步到其他系统 日志审计 数据库的实时物化视图 关联维度数据库的变更历史,等等。 参数说明 表1
CREATE SCHEMA CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION obs_path] [WITH DBPROPERTIES (prop
存点。默认为false。 响应消息 表3 响应参数说明 参数名称 是否必选 参数类型 说明 数组元素 否 Array of Objects 返回的响应消息组。具体请参考表4。 表4 数组元素参数说明 参数名称 是否必选 参数类型 说明 is_success 否 String 执行
窗口的订单id和窗口开启时间作为主键,将结果实时统计到JDBC中: 根据MySQL和kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据MySQL和kafka的地址测试队列连通性。若能连通,则表示跨源已经绑定成功;否则表示未成功。
窗口的订单id和窗口开启时间作为主键,将结果实时统计到JDBC中: 根据MySQL和kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据MySQL和kafka的地址测试队列连通性。如果能连通,则表示跨源已经绑定成功;否则表示未成功。
参数 描述 database_name Database名称,由字母、数字和下划线(_)组成。 table_name Database中的表名,由字母、数字和下划线(_)组成。 bucket_name obs桶名称。 tbl_path Delta表在obs桶中的存储位置。 using
RESTORE 命令功能 RESTORE命令用于将Delta表还原到早期状态,支持还原到较早的版本号或者时间戳。 命令格式 还原Delta表到历史某一时刻的状态: RESTORE [TABLE] [database_name.]table_name|DELTA.`obs_path`
支持将 Maxwell JSON 消息解释为 INSERT/UPDATE/DELETE 消息到 Flink SQL 系统中。在许多情况下,这对于利用此功能很有用。 例如: 将数据库中的增量数据同步到其他系统 审计日志 数据库的实时物化视图 临时连接更改数据库表的历史等等。 Flink 还支持将
按列GROUP BY 功能描述 按列对表进行分组操作。 语法格式 1 2 SELECT attr_expr_list FROM table_reference GROUP BY col_name_list; 关键字 GROUP BY:按列可分为单列GROUP BY与多列GROUP
语言来执行数据查询、数据分析和管理任务。 Kyuubi是一个分布式 SQL 查询引擎,它提供了标准的SQL接口,使用户能够方便地访问和分析存储在大数据平台中的数据。 通过将Beeline与Kyuubi对接,用户可以利用Kyuubi访问DLI进行数据查询和分析。这种集成简化了数据访
考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 构造依赖信息,创建SparkSession 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency>
已存在的表所有的列定义。可以使用多个LIKE来复制多个表的列。 如果使用了INCLUDING PROPERTIES,表的所有属性也会被复制到新表,该选项最多只能对一个表生效。 对于从表中复制过来的属性,可以使用WITH子句指定属性名进行修改。 默认使用EXCLUDING PROPERTIES属性。
查看表元数据 元数据说明 元数据(Metadata)是用来定义数据类型的数据。主要是描述数据自身信息,包含源、大小、格式或其它数据特征。数据库字段中,元数据用于诠释数据仓库的内容。 创建表时,会定义元数据,由列名、类型、列描述三列组成。 “元数据”页面将显示目标表的列名、列类型、类型和描述。
concat_ws(string0, array(varchar)) → varchar 描述:将数组中的元素以string0为分隔符进行串联。如果string0为null,则返回值为null。数组中的任何null值都将被跳过。 select concat_ws(NULL,ARRAY['abc']);--NULL
standard-error 否 该值只能为true或false,默认为false。 若为true,则表示输出数据到taskmanager的error文件中。 若为false,则表示输出数据到taskmanager的out中。 示例 从kafka中读取数据输出到taskmanager的out文
from [database_name.]table_name|DELTA.`obs://bucket_name/tbl_path` [ WHERE boolExpression] 参数描述 表1 DELETE参数 参数 描述 database_name Database名称,由字母、数字和下划线(_)组成。