检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
'connector.channel' = 'dis-output', 'format.type' = 'json' ); /** 统计car的静态信息 **/ INSERT INTO cars_infos_out SELECT cast(cast_int_to_string as
您还可以单击“新建企业项目”,前往企业项目管理控制台,新建企业项目和查看已有的企业项目。 修改完成后,单击“确定”,保存弹性资源池的企业项目信息。 相关操作 如需修改队列企业项目请参考分配队列至项目。 父主题: 管理弹性资源池
安装服务级SDK依赖 首先您需要在您的操作系统中 下载 并 安装Maven 。 安装配置完成后,输入命令“mvn -v”,显示如下图 Maven版本信息 表示成功。 Maven安装完成后,可根据开发需要,直接引入依赖到已有的Maven工程或先用开发工具创建Maven工程。 创建项目以idea开发工具为例(已有Maven
入。 状态索引:Flink引擎独有索引,是将行记录的存储位置记录到状态后端的一种索引形式,在作业冷启动过程中会遍历所有数据存储文件生成索引信息。 用Flink状态索引,Flink写入后,不支持Spark继续写入。 Flink在写Hudi的MOR表只会生成log文件,后续通过com
基于文件的权限管理。 高性能 性能 基于软硬件一体化的深度垂直优化。 大数据开源版本性能。 跨源分析 支持多种数据格式,云上多种数据源、ECS自建数据库以及线下数据库,数据无需搬迁,即可实现对云上多个数据源进行分析,构建企业的统一视图,帮助企业快速完成业务创新和数据价值探索。
values_row 想要插入到表中的值,列与列之间用逗号分隔。 注意事项 DLI表必须已经存在。 DLI表在创建时需要指定Schema信息。 如果在建表时指定“key.column”,则在Redis中会以指定字段的值作为Redis Key名称的一部分。例如: 1 2 3 4 5
多次修改列的默认值不会影响历史数据的查询结果。 设置默认值后rollback不能回滚默认值配置。 Spark SQL暂不支持查看列默认值信息,可以通过执行show create table SQL查看。 不支持默认缺省列的写入方式,写入时必须指定列名。 支持范围 当前仅支持in
需要执行INSERT命令的表所在数据库的名称。 table_name 需要执行INSERT命令的表的名称。 part_spec 指定详细的分区信息。若分区字段为多个字段,需要包含所有的字段,但是可以不包含对应的值,系统会匹配上对应的分区。单表分区数最多允许100000个。 select_statement
DLI提供查询Flink作业模板的接口。您可以使用该接口查询作业模板列表。本示例排序方式选择降序desc,将会列出作业模板ID小于cursor的作业模板列表信息。示例代码如下: 1 2 3 4 5 6 7 public static void getFlinkJobTemplates(DLIClient
状态的超时时间。对于Bulk Formats在每次创建Checkpoint时进行滚动,并且用户也可以添加基于大小或者时间等的其他条件。更多信息参考文件系统 SQL 连接器 在STREAMING模式下使用FileSink需要开启Checkpoint功能。Part文件只在Checkp
生命周期主要提供定期回收表或分区的功能,每天根据服务的繁忙程度,不定时回收。不能确保表或分区的生命周期到期后,立刻被回收。 删除表后,表的所有属性信息全部会删除,包括生命周期。新建同名表后,表的生命周期以新设置的属性为准。 约束限制 表生命周期处于公测阶段,如果有需要请联系客服申请开通白名单。
GenericUDTF”,实现initialize,process,close三个方法。 UDTF首先会调用initialize方法,此方法返回UDTF的返回行的信息,如,返回个数,类型等。 初始化完成后,会调用process方法,真正处理在process函数中,在process中,每一次forward()调用产生一行。
- INTERVAL '5' SECOND ) WITH ( . . . ); PRIMARY KEY 主键用作 Flink 优化的一种提示信息。主键限制表明一张表或视图的某个(些)列是唯一的并且不包含 Null 值。 主键声明的列都是非 nullable 的。因此主键可以被用作表行级别的唯一标识。
group_resource.group_name) 完整样例代码和依赖包说明请参考:Python SDK概述。 查询指定资源包 您可以使用该接口查询指定的资源包信息,示例代码如下: def get_package_resource(dli_client, resource_name, group_name):
支持数据扫描量套餐包 DLI增加数据扫描量套餐包,降低数据扫描量费用。 商用 产品价格详情 2 支持全局变量功能 DLI支持设置全局变量,用于保护用户关键信息。 商用 全局变量 2020年4月 序号 功能名称 功能描述 阶段 相关文档 1 支持IAM细粒度授权 DLI支持通过IAM进行细粒度授权。
SHOW_PRIVILEGES 查看其他用户具备的表权限 √ × √ √ DISPLAY_TABLE 显示表 √ √ √ √ DESCRIBE_TABLE 显示表信息 √ × √ √ 弹性资源池 DROP 删除弹性资源池 √ × √ √ RESOURCE_MANAGEMENT 弹性资源池资源管理 √ ×
3 get_json_object(string json,string json_path); 按照json_path格式抓取json中的信息 SELECT get_json_object('{"id": 1, "value":"xxx"}', '$.value'); -- "xxx"
创建数据库 功能描述 创建数据库。 语法格式 1 2 3 CREATE [DATABASE | SCHEMA] [IF NOT EXISTS] db_name [COMMENT db_comment] [WITH DBPROPERTIES (property_name=property_value
开启在线压缩时,压缩Hudi表task并行度。建议关闭在线压缩,提升性能。 hive_sync.enable 否 false Boolean 是否向hive同步表信息。 开启向hive同步表信息后会使用catalog相关权限,需配置访问catalog的委托权限。 hive_sync.mode 否 jdbc Enum Hive
表预留稍宽裕一些的桶数来提升读写性能。 确认表内桶数 Hudi表的桶数设置,关系到表的性能,需要格外引起注意。 以下几点,是设置桶数的关键信息,需要建表前确认。 非分区表 单表数据总条数 = select count(1) from tablename(入湖时需提供); 单条数据大小