检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
JDBC驱动包命名为“huaweicloud-dli-jdbc-<version>.zip”,支持在所有平台(Linux、Windows等)所有版本中使用,且依赖JDK 1.7及以上版本。
clean.async.enabled' = 'false' // 关闭Clean操作 'hoodie.archive.automatic' = 'false' // 关闭Archive操作 Spark离线完成Compaction计划的执行,以及Clean和Archive操作 在调度平台
≥0 队列 5分钟 queue_job_failed_num 已失败作业数 展示用户队列中状态为已失败的作业数。 ≥0 队列 5分钟 queue_job_cancelled_num 已取消作业数 展示用户队列中状态为已取消的作业数。
无锁算法 MySQL CDC source 使用 增量快照算法, 避免了数据库锁的使用,因此不需要 “RELOAD” 权限。 并发读取 增量快照读取提供了并行读取快照数据的能力。 全量阶段支持checkpoint 增量快照读取提供了在区块级别执行检查点的能力。
简单易用:直接使用标准SQL编写指标分析逻辑,无需关注背后复杂的分布式计算平台。 按需计费:日志分析按时效性要求按周期进行调度,每次调度之间存在大量空闲期。DLI按需计费只在使用期间收费,有效节约队列成本。
op_type 命令运行模式,可选,默认值为dry_run,取值:dry_run、repair、undo、query。 dry_run:显示需要清理的无效数据文件。 repair:显示并清理无效的数据文件。
如何执行Clean 写完数据后clean Spark SQL(设置如下参数,随后执行任意写入SQL时,在满足条件时触发) hoodie.clean.automatic=true hoodie.cleaner.commits.retained=10 // 默认值为10,根据业务场景指定
否 true security.ssl.algorithms 设置SSL加密的算法。
column=detail:pay_amount, timestamp=2021-12-16T21:30:37.954, value=@Y\x00\x00\x00\x00\x00\x00 202103241000000001 column=detail:pay_time
detail.order_time,detail.pay_amount,detail.real_pay, detail.pay_time,detail.user_id,detail.user_name,detail.area_id from hbaseSource; 按照如下方式查看
detail.order_time,detail.pay_amount,detail.real_pay, detail.pay_time,detail.user_id,detail.user_name,detail.area_id from hbaseSource; 按照如下方式查看
报错信息如下: DLI.0999: PSQLException: ERROR: dn_6009_6010: null value in column "ctr" violates not-null constraint Detail: Failing row contains (400070309
具体参数范围如下: AVAILABLE:可使用 SCALING:规格变更中 CREATING:创建中 FAILED:已失败 resource_id 否 String 弹性资源池的资源ID。 fail_reason 否 String 弹性资源池创建失败原因。
column=detail:pay_amount, timestamp=2021-12-16T21:30:37.954, value=@Y\x00\x00\x00\x00\x00\x00 202103241000000001 column=detail:pay_time
配置文件使用方法 方案一:直接在main函数里面加载文件内容到内存,然后广播到各个taskmanager,这种方式适合那种需要提前加载的少量变量。
DLI Flink作业所需要使用的桶授权信息如下,其中domainId和userId分别为DLI的账号和子账号,bucketName为用户桶名,timeStamp为策略创建时的时间戳。
main_class 否 String jar包主类。“show_detail”为“false”时独有。 entrypoint_args 否 String jar包作业运行参数。多个参数之间用空格分隔。“show_detail”为“true”时独有。
Delta DDL语法说明 CREATE TABLE DROP TABLE DESCRIBE ADD CONSTRAINT DROP CONSTRAINT CONVERT TO DELTA SHALLOW CLONE 父主题: Delta SQL语法参考
CONSTRAINTS, CONSTRAINT_CATALOG, CONSTRAINT_NAME, CONSTRAINT_SCHEMA, CONSTRUCTOR, CONTAINS, CONTINUE, CONVERT, CORR, CORRESPONDING, COUNT,
请求示例 IEF Flink作业的Action回调,Flink状态为FAILED,错误原因为“flink job submit failed”。