检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在“数据管理”页面修改数据库所有者。 在管理控制台左侧,单击“数据管理”>“库表管理”。 在“库表管理”页面选中需要修改的数据库,单击“操作”栏中的“更多 > 修改数据库”。 在弹出的对话框中,输入新的所有者用户名(已存在的用户名),单击“确定”。 在“SQL编辑器”页面修改数据库所有者。 在管理控制台左侧,单击“SQL编辑器”。
建议不要使用default队列提交作业,可以在DLI控制台新购买SQL队列来提交作业。 了解更多新建队列的操作指导请参考创建弹性资源池并添加队列。 父主题: DLI弹性资源池和队列类
设置为模板。 在DLI管理控制台的左侧导航栏中,单击“作业模板”>“Spark模板”,页面跳转至Spark作业页面。 参考创建Spark作业配置作业参数。 作业编辑完成后,单击“设为模板”。 输入模板名称和描述信息。 设置模板的分组信息。便于模板的统一管理。 单击“确定”,完成Spark模板的创建。
dynamicPartitionOverwrite.enabled”默认值为“false”,在不配置时它会覆盖整张表的数据。 详细说明请参考插入数据。 父主题: DLI数据库和表类
管理Spark作业 查看Spark作业的基本信息 在总览页面单击“Spark作业”简介,或在左侧导航栏单击“作业管理”>“Spark作业”,可进入Spark作业管理页面。Spark作业管理页面显示所有的Spark作业,作业数量较多时,系统分页显示,您可以查看任何状态下的作业。 表1
创建表时指定表的生命周期 功能描述 DLI提供了表生命周期管理功能,在创建表时指定表的生命周期。DLI会根据每张表的最后修改时间和表的生命周期来判断是否要回收此表。通过设置表的生命周期,可以帮助您更好的管理数目众多的表,自动清理长期不再使用的数据表,简化数据表的回收流程。同时支持数据恢复设置,避免因误操作丢失数据。
MSCK REPAIR TABLE table_name; 执行完上述命令后,再执行对应OBS分区表的数据查询即可。 父主题: DLI数据库和表类
执行作业的用户数据库和表权限不足导致作业运行失败 问题现象 Spark作业运行报数据库权限不足,报错信息如下: org.apache.spark.sql.AnalysisException: org.apache.hadoop.hive.ql.metadata.HiveException:
special_start_time), 'yyyymmdd') = substr('20220601',1,8) 父主题: DLI数据库和表类
用户可以通过查看运行日志排查作业运行异常的故障。 在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,进入Flink作业管理页面。 单击需要查看的作业名称,进入“作业详情”页面。 在“运行日志”页签,可以查看运行中作业的JobManager和TaskManager信息。 图4 Flink作业运行日志
enabled”,值设置为“false”。 图1 参数设置 上述步骤参数设置完成后,则可以进行全表查询,不用查询表的时候要包含分区字段。 父主题: DLI数据库和表类
create_date>'2221-12-01 00:00:00'; TIMESTAMP类型详细可参考TIMESTAMP数据类型。 父主题: DLI数据库和表类
可查看作业执行进度和结果。 图7 迁移作业进度和结果查询 步骤三:结果查询 CDM迁移作业运行完成后,再登录到DLI管理控制台,选择“SQL编辑器”,在SQL编辑器中“执行引擎”选择“spark”,“队列”选择已创建的SQL队列,数据库选择在DLI上创建数据库和表中已创建的数据库
数据管理维护 Hudi Compaction操作说明 Hudi Clean操作说明 Hudi Archive操作说明 Hudi Clustering操作说明
机可以访问公网且防火墙规则已开放连接端口。 数据源为云上的MRS、DWS时,网络互通需满足如下条件: i. CDM集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,数据源所在的主机可以访问公网且防火墙规则已开放连接端口。
SQL从RDS数据库读取的时间和RDS数据库存储的时间为什么会不一致? 问题描述 Flink Opensource SQL从RDS数据库读取的时间和RDS数据库存储的时间为不一致 根因分析 该问题的根因是数据库设置的时区不合理,通常该问题出现时Flink读取的时间和RDS数据库的时间会相差13小时。
(使用Flink 1.15和Spark 3.3及以上版本的引擎执行作业时需要配置)。 了解dli_management_agency请参考DLI委托概述。 创建自定义委托并在作业中配置委托的操作步骤请参考自定义DLI委托权限。 父主题: DLI权限管理类
Flink作业管理相关API 触发Flink作业保存点 导入Flink作业保存点
"obs://dli-test-001/test.csv"); test.csv文件内容如下: Jordon,88,"aa bb" 因为最后一个字段的aa和bb之间存在回车换行。创建OBS外表后,查询test06表数据内容显示如下: name id classno Jordon 88 aa bb"
增强型跨源连接创建完成后您可以通过管理控制台查看和管理您的增强型跨源连接。 本节操作介绍在管理控制台如何查看增强型跨源连接基本信息,包括增强型跨源连接的是否支持IPv6、主机信息等。 查看增强型跨源连接的基本信息 登录DLI管理控制台。 选择“跨源管理 > 增强型跨源”。 进入增强型