检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
RENAME COLUMN 命令功能 ALTER TABLE ... RENAME COLUMN语法用于修改列名称。 注意事项 如果您的表已经在所需的协议版本上,需要先执行如下语句才能修改成功: ALTER TABLE table_name SET TBLPROPERTIES ('delta
DLI Flink作业提交运行后(已选择保存作业日志到OBS桶),提交运行失败的情形(例如:jar包冲突),有时日志不会写到OBS桶中 DLI Flink作业提交或运行失败时,对应生成的作业日志保存方式,包含以下三种情况: 提交失败,只会在submit-client下生成提交日志。
CLEANARCHIVE 命令功能 用于对Hudi表的归档文件进行清理,以减少Hudi表的数据存储及读写压力。 命令格式 按文件容量进行清理,需要配置参数: hoodie.archive.file.cleaner.policy = KEEP_ARCHIVED_FILES_BY_SIZE;
SparkSQL建表参数规范 规则 建表必须指定primaryKey和preCombineField。 Hudi表提供了数据更新的能力和幂等写入的能力,该能力要求数据记录必须设置主键用来识别重复数据和更新操作。不指定主键会导致表丢失数据更新能力,不指定preCombineField会导致主键重复。
0/{project_id}/streaming/job-templates 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 表2 query参数说明 参数名称 是否必选 参数类型 描述 name
query [ WITH [ NO ] DATA ]② 限制 ① 和 ②的语法不能组合使用。 当使用了avro_schema_url属性时,以下操作是不支持的: 不支持CREATE TABLE AS操作 使用CREATE TABLE时不支持partitioned_by 和 bucketed_by
DLI的计费模式有哪些? DLI在不同的计费项下有不同的计费模式,具体详见表1说明。 表1 DLI计费模式 计费项 计费模式 计费模式说明 计算计费 包年/包月 按照弹性资源池包年/包月的固定费用计费。 按需计费 按需弹性资源池资源使用CU时进行计费。 计算费用=单价*CU数*小时数
CLUSTERING 命令功能 对Hudi表进行clustering操作,具体作用可以参考Hudi Clustering操作说明章节。 命令格式 执行clustering: call run_clustering(table=>'[table]', path=>'[path]',
如何给子用户授权查看Flink作业? 子用户使用DLI时,可以查看队列,但是不能查看Flink作业,可以通过在DLI中对子用户授权,或在IAM中对子用户授权: DLI授权管理 使用租户账号,或者作业owner账号,或有DLI Service Administrator权限的账号,登录DLI控制台。
在Spark SQL作业中使用UDAF 操作场景 DLI支持用户使用Hive UDAF(User Defined Aggregation Function,用户定义聚合函数)可对多行数据产生作用,通常与groupBy联合使用;等同于SQL中常用的SUM(),AVG(),也是聚合函数。
-, * 和 _不会被编码。 ASCII 空格字符会被编码为+ 。 所有其他字符都将转换为UTF-8,并且字节被编码为字符串%XX,其中XX是UTF-8字节的大写十六进制值。 select url_encode('http://www.example.com:80/stu/index
可以通过使用DataTypeHint 和FunctionHint 注解相关参数、类或方法来支持提取过程。 代码示例 Table(类似于 SQL 标准)是一种强类型的 API,函数的参数和返回类型都必须映射到 Table API 的数据类型,参见Table API数据类型。 如果需要更高级的类
= 'hudi', //指定写入的是Hudi表 'path' = 'obs://bucket/path/hudi_sink_table',
可以通过使用DataTypeHint 和FunctionHint 注解相关参数、类或方法来支持提取过程。 代码示例 Table(类似于 SQL 标准)是一种强类型的 API,函数的参数和返回类型都必须映射到 Table API 的数据类型,参见Table API数据类型。 如果需要更高级的类
扫描量计费 按扫描量计费 按扫描量计费即:按运行查询作业扫描的数据量付费,如果扫描字节数量少于10M, 按10M计算。 且数据定义语言(DDL)语句(如 CREATE、ALTER、DROP TABLE等语句)、管理分区语句、失败的查询语句无需付费。 对于取消的查询,按取消查询时扫描的总数据量计费。
数F2,指定类名C2,Jar包名J1。因为是第一次创建指定C2的函数,这时该F2函数不能立即生效。 两种生效方式 CREATE OR REPLACE F2 FUNCTION创建语句再执行一次生效 重启Spark SQL队列后生效 如果是选择重启Spark SQL队列,则会导致当前运行的作业受影响。
获取项目ID 操作场景 在调用接口的时候,部分URL中需要填入项目ID,所以需要获取到项目ID。有如下两种获取方式: 调用API获取项目ID 从控制台获取项目ID 调用API获取项目ID 项目ID可以通过调用查询指定条件下的项目信息API获取。 获取项目ID的接口为“GET ht
'password' = '' ); 参数说明 表1 参数说明 参数 是否必选 说明 connector 是 数据源类型,固定为:jdbc。 url 是 数据库的URL。 table-name 是 读取数据库中的数据所在的表名。 driver 否 连接数据库所需要的驱动。若未配置,则会自动通过URL提取。
normalize(string, form) → varchar 描述:Unicode允许你用不同的字节来写相同的字符,例如é和é,第一个是由0xC3 0xA9这两个字节组成的,第二个是由0x65 0xCC 0x81这三个字节组成的。 normalize()将根据参数form给定的Unicode规范化形式
VACUUM 命令功能 VACUUM命令用于删除表目录中不由 Delta 管理的所有文件,并删除不再处于表事务日志最新状态且超过保留期阈值的数据文件。默认阈值为 7 天。 注意事项 RETAIN num HOURS表示保留期阈值,建议设置为至少 7 天。 如果对 Delta 表运