检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
options ( primaryKey = 'id', type = 'mor', hoodie.cleaner.fileversions.retained = '20', hoodie.keep.max.commits = '20' ); 注意事项 Hudi当前不支持使用char、va
必选。 op_type 命令运行模式,可选,默认值为dry_run,取值:dry_run、repair、undo、query。 dry_run:显示需要清理的无效数据文件。 repair:显示并清理无效的数据文件。 undo:恢复已清理的数据文件 query:显示已执行清零操作的备份目录。
<manifest> <mainClass>com.flink.FlinkDisToDisExample</mainClass> </manifest>
commits.retained=10 // 默认值为10,根据业务场景指定 SparkDataSource(option里设置如下参数,写数据时触发) hoodie.clean.automatic=true hoodie.cleaner.commits.retained=10 //
HBase的使用,通过HBase shell在HBase中创建相应的表,表名为order,表中只有一个列族detail,创建语句如下: create 'order', {NAME => 'detail'} 参考创建Flink OpenSource作业,创建flink opensource sql
order_id, detail.order_channel,detail.order_time,detail.pay_amount,detail.real_pay, detail.pay_time,detail.user_id,detail.user_name,detail.area_id
order_id, detail.order_channel,detail.order_time,detail.pay_amount,detail.real_pay, detail.pay_time,detail.user_id,detail.user_name,detail.area_id
dn_6009_6010: null value in column "ctr" violates not-null constraint Detail: Failing row contains (400070309, 9.00, 25, null, 2020-09-22, 2020-09-23 04:30:01
String 弹性资源池状态。具体参数范围如下: AVAILABLE:可使用 SCALING:规格变更中 CREATING:创建中 FAILED:已失败 resource_id 否 String 弹性资源池的资源ID。 fail_reason 否 String 弹性资源池创建失败原因。
HBase的使用,通过HBase shell在HBase中创建相应的表,表名为order,表中只有一个列族detail,创建语句如下: create 'order', {NAME => 'detail'} 参考创建Flink OpenSource作业,创建flink opensource sql
getProperty("partition")); vaildProps(); } catch (Exception e) { LOGGER.info("load kafka conf failed"); e.printStackTrace();
"Principal": { "ID": [ "domain/domainId:user/userId" ] }, "Action":
作业所属用户标识。 “show_detail”为“true”时独有。 project_id 否 String 作业所属项目标识。 “show_detail”为“true”时独有。 sql_body 否 String Stream SQL语句。 “”“show_detail”为“false”时独有。
Delta DDL语法说明 CREATE TABLE DROP TABLE DESCRIBE ADD CONSTRAINT DROP CONSTRAINT CONVERT TO DELTA SHALLOW CLONE 父主题: Delta SQL语法参考
CONNECTION_NAME, CONSTRAINT, CONSTRAINTS, CONSTRAINT_CATALOG, CONSTRAINT_NAME, CONSTRAINT_SCHEMA, CONSTRUCTOR, CONTAINS, CONTINUE, CONVERT, CORR
message 否 String 消息内容。 请求示例 IEF Flink作业的Action回调,Flink状态为FAILED,错误原因为“flink job submit failed”。 { "message_id": "5a3f33f7-bcd9-42bd-a8ca-9b612c36b3ase"
Serverless服务模式无需关注底层配置、软件更新和故障问题,资源易维护,易扩展。 多种资源类型满足不同场景业务需求: 共享资源池:按量计费,提供极致的性价比资源。 独享资源池:提供独享资源池,满足高性能资源需求。 父主题: HetuEngine SQL语法
列共享计算资源。通过合理设置队列的计算资源分配策略,可以提高计算资源利用率,应对业务高峰期的资源需求。 适用场景:适合业务量有明显波动的场合,如周期性的数据批处理任务或实时数据处理需求。 支持的队列类型:SQL队列(Spark)、SQL队列(HetuEngine)、通用队列。了解DLI的队列类型请参考DLI队列类型。
查看计划 功能描述 执行该语句将返回该SQL语句的逻辑计划与物理执行计划。 语法格式 1 EXPLAIN [EXTENDED | CODEGEN] statement; 关键字 EXTENDED:指定该关键字后,会同时输出逻辑计划与物理执行计划。 CODEGEN:指定该关键字后
String 用户名,当“show_detail”为“false”时独有。 duration 否 Long 作业运行时长。 单位ms,“show_detail”为“false”时独有。 root_id 否 Long 父作业ID。“show_detail”为“false”时独有。 graph_editor_enabled