检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
hive_sync.table", tableName) .option("hoodie.datasource.hive_sync.database", databaseName) .mode(SaveMode.Overwrite) .save(basePath)
G PROPERTIES,则将所有表属性复制到新表中。如果WITH子句指定的属性名称与复制的属性名称相同,则将使用WITH子句中的值。默认是EXCLUDING PROPERTIES属性,而且最多只能为一个表指定INCLUDING PROPERTIES属性。 PARTITIONED
timestamp3, unix_timestamp(timestamp1) as date3_unix_timestamp from database_t;输出: +------------+-------------------------+-------------------
tableNamePattern, String types[]) 该方法不采纳Catalog参数,schemaPattern对应DLI服务的database的概念。 ResultSet getTableTypes() ResultSet getSchemas() ResultSet getSchemas(String
Flink 1.15版本。 Flink 1.12版本有哪些优势? Flink 1.12新增支持DataGen源表、DWS源表、JDBC源表、MySQL CDC源表、Postgres CDC源表、Redis源表、Upsert Kafka源表、Hbase源表 更多升级Flink 1.12版本的优势请参考Flink
id, 'a2', '2021-01-03' as dt, '19' as hh; 权限需求 由DLI提供的元数据服务 SQL权限: database table 无 INSERT_INTO_TABLE 细粒度权限:dli:table:insertIntoTable 由LakeFo
Flink作业概述 DLI支持的两种类型的Flink作业: Flink OpenSource SQL类型作业: 完全兼容社区版的Flink,确保了作业可以在这些Flink版本上无缝运行。 在社区版Flink的基础上,DLI扩展了Connector的支持,新增了Redis、DWS作
SQL使用DEW管理访问凭据 Flink Opensource SQL场景使用DEW管理和访问凭据的操作指导,将Flink作业的输出数据写入到Mysql或DWS时,在connector中设置账号、密码等属性。 Flink Jar 使用DEW获取访问凭证读写OBS 访问OBS的AKSK为例介绍Flink
对于2024年5月之前开通并使用DLI服务的用户,如需使用“查询结果写入桶”功能,必须提交工单申请加入白名单。 方式一:使用Maven中央库来添加JDBC驱动 Maven中央库是Apache Maven项目的一部分,提供了Java库和框架。 在不指定JDBC获取方式的情况下,默认使用Maven中央库的方式来添加JDBC驱动。
分区粒度可以采用年、月、日,分区粒度的目标是减少同时写入的文件桶数,尤其是在有数据量更新,且更新数据有一定时间范围规律的,比如:近一个月的数据更新占比最大,可以按照月份创建分区;近一天内的数据更新占比大,可以按照天进行分区。 采用Bucket索引,写入是通过主键Hash打散的,数据会均匀
59) %T 时间,24小时制(hh:mm:ss) %U 周(00 .. 53), 星期天是一周的第一天 %u 周(00 .. 53), 星期一是一周的第一天 %V 周(01 .. 53),星期天是一周的第一天,与%X配合使用 %v 星期(01 .. 53), 第一条为星期一,与%X配合使用
SQL”:用户通过编辑SQL语句来启动作业。 名称 作业名称,只能由字母、中文、数字、中划线和下划线组成,并且长度为1~57字节。 说明: 作业名称必须是唯一的。 描述 作业的相关描述,长度为0~512字节。 模板名称 用户可以选择样例模板或自定义的作业模板。关于模板的详细信息,请参见管理Flink作业模板。
0/{project_id}/datasource-connection 参数说明 表1 URI参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求消息 无请求参数。 响应消息 表2 响应参数 参数名称 是否必选 参数类型
java样例代码 开发说明 本样例只适用于MRS的OpenTSDB。 前提条件 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
'' ); 参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 数据源类型,“dis”表示数据源为数据接入服务,必须为dis。 connector.region 是 数据所在的DIS区域。 connector.ak 否 访问密钥ID(Access Key
写入具有分区提交功能的Hive表。 CREATE CATALOG myhive WITH ( 'type' = 'hive' , 'default-database' = 'demo', 'hive-conf-dir' = '/opt/flink/conf' ); USE CATALOG
'' ); 参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 数据源类型,“dis”表示数据源为数据接入服务,必须为dis。 connector.region 是 数据所在的DIS区域。 connector.ak 否 访问密钥ID(Access Key
type 是 固定为filesystem。 connector.file-path 是 数据输出目录,格式为: schema://file.path。 说明: 当前schame只支持obs和hdfs。 当schema为obs时,表示输出到对象存储服务OBS。注意,OBS必须是并行文件系统,不能是OBS桶。
说明 num_keys 是 BIGINT类型。 BIGINT类型常量,值必须>=0。在转为多行时作为转置key的列的个数。 separator 是 STRING类型。 STRING类型常量,用于将字符串拆分成多个元素的分隔符。为空时返回报错。 keys 是 STRING类型。 转置时作为key的列,
是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 job_id 是 String 作业ID。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 data_path 是 String 导出结果存储的路径(当前