检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
7日凌晨3:00首次尝试自动续费,如果扣款失败,每天凌晨3:00尝试一次,直至DLI资源到期或者续费成功。到期前7日自动续费扣款是系统默认配置,您也可以根据需要修改此扣款日。 父主题: 续费
当key-ttl-mode取值为no-ttl时,不需要配置此参数。 当key-ttl-mode取值为expire-msec时,需要配置为可以解析成Long型的字符串。例如5000,表示5000ms后key过期。 当key-ttl-mode取值为expire-at-date时,需要配置为Date类型字符串,例如
在DLI控制台管理表资源 在DLI控制台配置表权限 在DLI控制台删除表 在DLI控制台修改表所有者 将OBS数据导入至DLI 导出DLI表数据至OBS中 在DLI控制台预览表数据 父主题: 创建数据库和表
在DLI控制台管理数据库资源 在DLI控制台配置数据库权限 在DLI控制台删除数据库 在DLI控制台修改数据库所有者 库表管理标签管理 父主题: 创建数据库和表
java:624) at java.lang.Thread.run(Thread.java:748) 问题原因 在CDM界面创建迁移作业,配置DLI目的连接参数时,“资源队列”参数错误选成了DLI的“通用队列”,应该选择DLI的“SQL队列”。 解决方案 登录DLI管理控制台,选
最后修改时间 作业运行完成的时间。 操作 编辑:可修改当前作业配置,重新执行作业。 SparkUI:单击后,将跳转至Spark任务运行情况界面。 说明: 状态为“启动中”的作业不能查看SparkUI界面。 目前DLI配置SparkUI只展示最新的100条作业信息。 终止作业:终止启动中和运行中的作业。
依据的DLI分区表。在OPTIONS中配置pmultiLevelDirEnable和compression。 multiLevelDirEnable:本例设置为true,表示查询该表时会迭代读取表路径中的所有文件和子目录文件,若不需要此项配置可以设置为false或不设置(默认为false);
builder.appName("datasource-css").getOrCreate() 通过DataFrame API 访问 连接配置 1 2 resource = "/mytest" nodes = "to-css-1174404953-hDTx3UPK.datasource
dli:table:insertIntoTable, dli:table:dropTable。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 create table if not exists parquet_table0 (id int
tion作业CPU与内存的比例按照1:4~1:8配置,保证Compaction作业稳定运行。当Compaction出现OOM问题,可以通过调大内存占比解决。 建议 通过增加并发数提升Compaction性能。 CPU和内存比例配置合理会保证Compaction作业是稳定的,实现单个Compaction
创建弹性资源池和队列 DLI弹性资源池与队列简介 创建弹性资源池并添加队列 管理弹性资源池 管理队列 典型场景示例:创建弹性资源池并运行作业 典型场景示例:配置弹性资源池队列扩缩容策略 创建非弹性资源池队列(废弃,不推荐使用)
earch 从MySQL CDC源表读取数据写入到DWS 从PostgreSQL CDC源表读取数据写入到DWS Flink作业高可靠推荐配置指导(异常自动重启) 父主题: Flink作业开发指南
'时需配置,格式为: 'partition:0,offset:42;partition:1,offset:300'。 connector.startup-timestamp-millis 否 指定起始消费时间戳,'startup-mode'为'timestamp'时需配置。 connector
Flink Jar作业类 Flink Jar作业是否支持上传配置文件,要如何操作? Flink Jar 包冲突,导致作业提交失败 Flink Jar作业访问DWS启动异常,提示客户端连接数太多错误 Flink Jar作业运行报错,报错信息为Authentication failed
细粒度权限:dli:database:createTable, dli:table:select。 LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 CREATE OR REPLACE TABLE delta_table1 SHALLOW CLONE
细粒度权限:dli:table:createTable, dli:table:select 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 系统响应 Table创建成功,创建的Hudi表可以进入DLI控制台,在左侧菜单栏选择”数据管理”->
>“Flink模板”。 单击页面右上角“创建模板”,弹出“创建模板”页面。 输入“名称”和“描述”。 图1 新建Flink模板 表4 模板配置信息 参数 参数说明 类型 模板类型。 Flink SQL作业模板 Flink OpenSource SQL作业模板 名称 模板名称,只能
实例”,获取ZooKeeper角色实例的IP地址。 在MRS Manager上,选择“集群 > 待操作的集群名称 > 服务 > ZooKeeper > 配置 > 全部配置”,搜索参数“clientPort”,获取“clientPort”的参数值即为ZooKeeper的端口。 zookeeper.znode
'print-identifier' = '', --配置数据前缀 'standard-error' = 'false', --输出数据到taskmanager的out文件中 'sink.parallelism' = '2' --配置并行度 ); insert into printSink
Flink作业性能调优类 Flink作业推荐配置指导 Flink作业性能调优 Flink作业重启后,如何保证不丢失数据? Flink作业运行异常,如何定位 Flink作业重启后,如何判断是否可以从checkpoint恢复 DLI Flink作业提交运行后(已选择保存作业日志到OB