检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
disConfig.put(DisConsumerConfig.GROUP_ID_CONFIG, groupId); // 是否主动更新分片信息及更新时间间隔(毫秒),若有主动扩缩容需求,可以开启 disConfig.put(FlinkDisConsumer
包年包月的弹性资源池在使用过程中规格内按包周期计费,超出规格部分按需计费。 按需计费 弹性资源池 计算费用=单价*CU数*小时数 按需计费的DLI弹性资源池(专属资源),无论是否运行作业,自创建成功后状态为“可使用”时根据购买的实际CUs按自然小时收费。 假设您选择购买按需计费模式的队列资源。在购买页面底部,您将看到所需费用的明细,如图1所示。
REVOKE_PRIVILEGE 队列权限的回收 √ × √ √ SHOW_PRIVILEGES 查看其他用户具备的队列权限 √ × √ √ 数据库 DROP_DATABASE 删除数据库 √ × √ √ CREATE_TABLE 创建表 √ × √ √ CREATE_VIEW 创建视图 √ × √ √ EXPLAIN
second=CACHE_TIME flink.dli.job.agency.name=USER_AGENCY_NAME 参数说明 表1 参数说明 参数 是否必选 默认值 数据类型 参数说明 flink.hadoop.fs.obs.bucket.USER_BUCKET_NAME.dew.access
SCHEMA IF NOT EXISTS traffic; --创建一个新表orders,使用子句with指定创建表的存储格式、存储位置、以及是否为外表: CREATE TABLE orders ( orderkey bigint, orderstatus varchar, totalprice
class_name [USING resource,...] resource: : JAR file_uri 注意事项 如果在数据库中存在同名的函数,系统将会报错。 只支持Hive语法创建函数。 请注意避免该场景:如果创建的自定义函数F1指定类C1,程序包名JAR1,创
写入具有分区提交功能的Hive表。 CREATE CATALOG myhive WITH ( 'type' = 'hive' , 'default-database' = 'demo', 'hive-conf-dir' = '/opt/flink/conf' ); USE CATALOG
SQL作业相关 数据库相关 表相关 作业相关 父主题: Python SDK
权限,则需要重新对A用户赋予该权限。 查看表权限 在管理控制台左侧,单击“数据管理”>“库表管理”。 单击需要设置权限的表所在的数据库名,进入该数据库的“表管理”页面。 单击所选表“操作”栏中的“权限管理”,将显示该表对应的权限信息。 图1 表权限管理 表权限设置有3种场景:为新
CURRENT_TRANSFORM_GROUP_FOR_TYPE, CURRENT_USER, CURSOR, CURSOR_NAME, CYCLE, DATA, DATABASE, DATE, DATETIME_INTERVAL_CODE, DATETIME_INTERVAL_PRECISION, DAY, DEALLOCATE
在DLI控制台总览页面左侧,单击“SQL编辑器”,进入SQL作业编辑器页面。 在SQL作业编辑器左侧,选择“数据库”页签,单击创建名字为demo的数据库。 在DLI的SQL编辑窗口,执行引擎选择“spark”,队列选择“default”,数据库选择为“demo”。输入以下建表语句,创建OBS表test_csv_hw并导入test
也可以是当函数输出长度超出1048576字节,截断超出非空字符串,并用TRUNCATE 指定的字符串替代,WITH COUNT和WITHOUT COUNT,表示输出结果是否包含计数: SELECT LISTAGG(value, ',' ON OVERFLOW TRUNCATE '.....' WITH COUNT)
创建OBS表需要指定OBS路径,且该路径需要提前创建。 完整样例代码和依赖包说明请参考:Python SDK概述。 删除表 DLI提供删除表的接口。您可以使用该接口删除数据库下的所有表。示例代码如下: 1 2 3 4 5 6 7 8 def delete_tbls(dli_client, db_name):
com:9200" resource为指定在CSS关联的资源名。格式可以用"/index/type"指定资源位置(可简单理解index为database,type为table,但绝不等同)。 ES 6.X版本中,单个Index只支持唯一type,type名可以自定义。 ES 7.X版
HISTORY FOR TABLE:查看备份数据。 PARTITION:指定分区列。 参数说明 表1 参数说明 参数 描述 db_name 数据库名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。 table_name 表名称。 column 分区列名。 value
obs://bucket/checkpoint 编译运行 应用程序开发完成后,参考Flink Jar作业开发基础样例将编译打包的JAR包上传到DLI运行,查看对应OBS路径下是否有相关的数据信息。 父主题: Flink作业开发指南
hive_sync.table", tableName) .option("hoodie.datasource.hive_sync.database", databaseName) .mode(SaveMode.Overwrite) .save(basePath)
table:清理多版本数据。 older_than:指定清理多版本数据的时间范围。 参数说明 表1 参数说明 参数 描述 db_name 数据库名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。 table_name 表名称。 时间戳 删除该时间戳时间点
col_name_list]] [LIMIT number]; 关键字 表1 SELECT关键字说明 参数 描述 ALL ALL关键字用于返回数据库所有匹配的行,包括重复的行。ALL关键字的后面只能跟*,否则执行语句会出错。 ALL是SQL语句的默认行为,通常不会被明确写出,如果不指定
Information Database: default