检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
删除分区：删除分区表中的任意分区。 设置分区的路径：将分区表中的某个分区路径设置为用户指定的OBS路径。 重命名表分区：对分区表中的分区重新命名。 恢复表分区：从文件系统中导出分区信息保存到元数据中。 显示所有分区：显示分区表中的所有分区。 只适用于“用户授权”的权限包括： 显示表：显示当前表。 View具体权限说明请参考表3。
创建CDM迁移作业。 登录CDM控制台，选择“集群管理”，选择已创建的CDM集群，在操作列选择“作业管理”。 在“作业管理”界面，选择“表/文件迁移”，单击“新建作业”。 在新建作业界面，配置当前作业配置信息，具体参数参考如下： 图5 新建CDM作业作业配置 作业名称：自定义数据迁
COMMENT：字段或表描述。 PARTITIONED BY：指定分区字段。 ROW FORMAT：行数据格式。 STORED AS：指定所存储的文件格式，当前该关键字只支持指定TEXTFILE, AVRO, ORC, SEQUENCEFILE, RCFILE, PARQUET几种格式。创建DLI表时必须指定此关键字。
创建CDM迁移作业。 登录CDM控制台，选择“集群管理”，选择已创建的CDM集群，在操作列选择“作业管理”。 在“作业管理”界面，选择“表/文件迁移”，单击“新建作业”。 在新建作业界面，配置当前作业配置信息，具体参数参考如下： 图5 新建CDM作业作业配置 作业名称：自定义数据迁
DLI弹性资源池和队列类 怎样查看弹性资源池和作业的资源使用情况？ 怎样判断当前DLI队列中的作业是否有积压？ 怎样查看DLI队列负载？ 怎样监控DLI队列上的作业异常？ 怎样将老版本的Spark队列切换成通用型队列 在default队列执行DLI SQL失败，提示超时异常怎么办？
COMMENT：字段或表描述。 PARTITIONED BY：指定分区字段。 ROW FORMAT：行数据格式。 STORED AS：指定所存储的文件格式，当前该关键字只支持指定TEXTFILE, AVRO, ORC, SEQUENCEFILE, RCFILE, PARQUET几种格式。创建DLI表时必须指定此关键字。
创建CDM迁移作业。 登录CDM控制台，选择“集群管理”，选择已创建的CDM集群，在操作列选择“作业管理”。 在“作业管理”界面，选择“表/文件迁移”，单击“新建作业”。 在新建作业界面，配置当前作业配置信息，具体参数参考如下： 图6 新建CDM作业作业配置 作业名称：自定义数据迁
DLI Flink与MRS Flink有什么区别？ DLI Flink是天然的云原生基础架构。在内核引擎上DLI Flink进行了多处核心功能的优化，并且提供了企业级的一站式开发平台，自带开发和运维功能，免除自建集群运维的麻烦；在connector方面除了支持开源connecto
dependency_files 否 Array of Strings 用户已上传到DLI资源管理系统的资源包名，用户自定义作业的依赖文件。 executor_number 否 Integer 作业使用计算节点个数。 executor_cu_number 否 Integer 计算节点cu数。
dependency_files 否 Array of Strings 用户已上传到DLI资源管理系统的资源包名，用户自定义作业的依赖文件。 tm_cus 否 int 单TM所占CU数。 tm_slot_num 否 int 单TM Slot数。 image 否 String
创建CDM迁移作业。 登录CDM控制台，选择“集群管理”，选择已创建的CDM集群，在操作列选择“作业管理”。 在“作业管理”界面，选择“表/文件迁移”，单击“新建作业”。 在新建作业界面，配置当前作业配置信息，具体参数参考如下： 图6 新建CDM作业作业配置 作业名称：自定义数据迁
后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭证。配置文件或者环境变量中密文存放，使用时解密，确保安全。Flink Opensource SQL使用DEW管理访问凭据 with参数中字段只能使用单引号，不能使用双引号。
使用前必读 使用须知 DLI HetuEngine功能为白名单功能，如需使用，请在管理控制台右上角，选择“工单 > 新建工单”，提交申请。 使用前您需要先创建一个HetuEngine类型的SQL队列，具体操作请参考创建弹性资源池并添加队列。 HetuEngine SQL需搭配la
string, area_id string ) WITH ( 'connector' = 'elasticsearch-7', 'hosts' = '192.168.168.125:9200', --替换为CSS集群的内网地址和端口 'index' = 'shoporders'
后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭证。配置文件或者环境变量中密文存放，使用时解密，确保安全。Flink Opensource SQL使用DEW管理访问凭据 所有 HBase 表的列簇必
OpenSource SQL作业运行参数 表2 作业运行参数说明 参数 参数说明 所属队列 选择执行作业所需的队列资源。 UDF Jar 用户自定义UDF文件，在后续作业中可以调用插入Jar包中的自定义函数。 UDF Jar包的管理方式： 上传OBS管理程序包：提前将对应的jar包上传至OBS桶中。并在此处选择对应的OBS路径。
数据湖探索简介 什么是数据湖探索 数据湖探索（Data Lake Insight，简称DLI）是完全兼容Apache Spark、Apache Flink、HetuEngine生态，提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器，即开即用。
Flink作业性能调优 性能调优相关基本概念 消费组积压 消费组积压可通过topic最新数据offset减去该消费组已提交最大offset计算得出，说明的是该消费组当前待消费的数据总量。 如果Flink作业对接的是kafka专享版，则可通过云监控服务(CES)进行查看。具体可选择“云服务监控
DLI支持的Prometheus基础监控指标 表1提供了DLI支持的Prometheus基础监控指标，AOM Prometheus支持免费存储基础指标。 除基础指标外，AOM Prometheus提供的自定义指标按计费规则付费使用。 表1 DLI支持的Prometheus监控指标
调整弹性资源池中队列的扩缩容策略 弹性资源池上可以添加多个不同队列用于作业运行，具体添加弹性资源池添加队列的操作可以参考创建弹性资源池并添加队列。添加完队列后，可以根据不同队列计算资源使用量的波峰和波谷和优先级来配置要扩缩容的CU数，从而来保障作业的稳定运行。 注意事项 建议对流
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
