检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建dis数据源表disSource。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 create table disSource( attr0 string, attr1 TINYINT, attr2 smallint
partition_value1) rename to partition(partition_key = partition_value2) 新增/修改表属性。 ALTER TABLE table_name SET TBLPROPERTIES (property_name = property_value[
数据类型映射 表2 数据类型映射 MySQL类型 PostgreSQL类型 Flink SQL类型 TINYINT - TINYINT SMALLINT TINYINT UNSIGNED SMALLINT INT2 SMALLSERIAL SERIAL2 SMALLINT INT
= dim.user_id; 往kafka数据源写入2条数据。 {"user_id": "user1", "user_name": "name1"} {"user_id": "user2", "user_name": "name2"} 查看print结果表数据。 +I[user1,
HBase sink的编解码将所有数据类型(除字符串外)为null值时以空字节来存储。 sink.buffer-flush.max-size 否 2mb MemorySize 每次写入请求缓存行的最大值。 它能提升写入HBase数据库的性能,但是也可能增加延迟。 设置为 "0" 关闭此选项。
area_province_name a1 area_province_name b1 area_county_name c2 area_street_name d2 region_name e1 HMSET 330108 area_province_name a1 area_province_name
lifecycle.trash.dir"='obs://dli-test/Lifecycle-Trash' ); Hive语法创建OBS表 1 2 3 4 CREATE TABLE table_name(name string, id int) STORED AS parquet LOCATION
[OPTIONS (path 'obs_path', key1=val1, key2=val2, ...)] [PARTITIONED BY (col_name1, col_name2, ...)] [COMMENT table_comment] [AS select_statement]
参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求消息 表2 请求参数说明 参数名称 是否必选 参数类型 说明 zip_file 是 String 从OBS上导入的作业zip文件路径,支持填写文件夹,导入文件夹下的所有zip文件。
不同类型的作业支持跨源认证的数据源与认证方式不同。 Spark SQL支持跨源认证的数据源与约束限制请参考表2。 Flink OpenSource SQL 1.12支持跨源认证的数据源与约束限制请参考表3。 表2 Spark SQL支持跨源认证的数据源 跨源认证类型 数据源 约束与限制 CSS CSS
DataGen2FileSystemSink 参数 --checkpoint.path obs://test/flink/jobs/checkpoint/120891/ --output.path obs://dli/flink.db/79914/DataGen2FileSystemSink
[PARTITIONED BY (partition_column_name1, partition_column_name2, ...)] WITH (key1=val1, key2=val2, ...) <column_definition>: column_name column_type
DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。 语法格式 1 2 ALTER TABLE [db_name.]table_name SET TBLPROPERTIES ("dli.multi.version
在左侧导航栏中,选择“跨源管理 > 增强型跨源 ”。 选择“增强型跨源”,单击“创建”。 配置增强型跨源连接信息,详细参数介绍请参见表2。 表2 参数说明 参数 参数说明 连接名称 所创建的跨源连接名称。 名称只能包含数字、英文字母、下划线。不能为空。 输入长度不能超过64个字符。
Flink的HBase连接器将所有数据类型(除字符串外)null值编码成空字节。对于字符串类型,null值的字面值由null-string-literal选项值决定。 表2 数据类型映射表 Flink数据类型 HBase转换 CHAR/VARCHAR/STRING byte[] toBytes(String s)
Flink的HBase连接器将所有数据类型(除字符串外)null值编码成空字节。对于字符串类型,null值的字面值由null-string-literal选项值决定。 表2 数据类型映射表 Flink数据类型 HBase转换 CHAR/VARCHAR/STRING byte[] toBytes(String s)
obs桶名称。 tbl_path Delta表在obs桶中的存储位置。 constraint_name 约束名称。 所需权限 SQL权限 表2 DROP CONSTRAINT所需权限列表 权限描述 表的ALTER权限 细粒度权限:dli:table:alter。 由LakeForm
('330102', 'a1', 'b1', 'c1', 'd1', 'e1'), ('330106', 'a1', 'b1', 'c2', 'd2', 'e1'), ('330108', 'a1', 'b1', 'c3', 'd3', 'e1'), ('330110', 'a1'
[PARTITIONED BY (partition_column_name1, partition_column_name2, ...)] WITH (key1=val1, key2=val2, ...) <column_definition>: column_name column_type
性资源池”。 在“购买弹性资源池”界面,填写具体的弹性资源池参数。 本例在华东-上海二区域购买按需计费的弹性资源池。相关参数说明如表2所示。 表2 参数说明 参数名称 参数说明 配置样例 计费模式 选择弹性资源池计费模式。 按需计费 区域 选择弹性资源池所在区域。 华东-上海二 项目