正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何在DLI中运行复杂PySpark程序? 数据湖探索(DLI)服务对于PySpark是原生支持的。 对于数据分析来说Python是很自然的选择,而在大数据分析中PySpark无疑是不二选择。对于JVM语言系的程序,通常会把程序打成Jar包并依赖其他一些第三方的Jar,同样的Python
使用Flink Jar连接开启SASL_SSL认证的Kafka 概述 本节操作介绍使用Flink Jar连接开启SASL_SSL认证的Kafka的操作方法。 如需使用Flink OpenSource SQL连接开启SASL_SSL认证的Kafka,请参考Flink SQL语法参考-
Flink作业标签管理 标签是用户自定义的、用于标识云资源的键值对,它可以帮助用户对云资源进行分类和搜索。标签由标签“键”和标签“值”组成。 DLI支持对Flink作业添加标签。如果想对Flink作业添加如项目名称、业务类别、背景信息等相关信息的标识,用户可以通过添加标签来实现。如果用户在其他云服务中使用了标签
修改弹性资源池的主机信息 操作场景 主机信息用于配置主机的IP与域名的映射关系,在作业配置时只需使用配置的域名即可访问对应的主机。在跨源连接创建完成后,支持修改主机信息。 常见的访问MRS的HBase集群时需要配置实例的主机名(即域名)与主机对应的IP地址。 约束限制 已获取MRS
在使用Spark2.3.x访问元数据时,DataSource语法创建avro类型的OBS表创建失败 问题描述 使用Spark访问元数据时,DataSource语法创建avro类型的OBS表创建失败。 图1 avro类型的OBS创建失败 根因分析 当前Spark2.3.x不支持创建avro
调整弹性资源池中队列的扩缩容策略 弹性资源池上可以添加多个不同队列用于作业运行,具体添加弹性资源池添加队列的操作可以参考在弹性资源池中添加队列。添加完队列后,可以根据不同队列计算资源使用量的波峰和波谷和优先级来配置要扩缩容的CU数,从而来保障作业的稳定运行。 注意事项 在全天的任意一个时间段内
弹性资源池规格变更 使用场景 包年包月的弹性资源池CU数在规格的范围内使用包年包月计费,超过规格的部分则按弹性资源池CU时计费的方式计费,您可以根据实际CU的使用情况通过规格变更来使得计费更优惠。 例如,当前弹性资源池的规格为64CU,实际使用过程中大部分时间CU数在128CU以上
删除队列 根据实际使用情况,您可以通过删除操作释放队列。 如果待删除的队列中有正在提交或正在运行的作业,将不支持删除操作。 删除队列不会导致您数据库中的表数据丢失。 删除队列步骤 在DLI管理控制台左侧,选择“资源管理 > 队列管理”。 选择待删除的队列,单击“操作”列的“删除”删除
查看Flink作业详情 创建作业后,您可以在DLI管理控制台查看Flink作业的基本信息、作业详情、任务列表、执行计划等信息。 本节操作介绍怎样查看Flink作业相关信息。 表1 查看Flink作业相关信息 类型 说明 操作指导 Flink作业基本信息 包括Flink作业的ID、作业类型
弹性资源池计费 弹性资源池计费模式 弹性资源池为DLI作业运行提供计算资源。弹性资源池支持三种计费模式: 包年包月:是预付费模式,按订单的购买周期计费。拥有专属的计算资源,空闲(无作业运行)时不会释放,使用体验更佳,价格比按需计费模式更优惠。 适用于可预估资源使用周期的场景,例如已完成开发进入生产阶段的项目
使用DLI提交SQL作业查询RDS MySQL数据 操作场景 DLI可以查询存储在RDS数据库中的数据,本节操作介绍使用DLI提交SQL作业查询RDS MySQL数据的操作步骤。 本例创建RDS实例并新建数据库和表,创建DLI弹性资源池队列,通过增强型跨源连接打通DLI弹性资源池和
设置Flink作业优先级 操作场景 在实际作业运行中,由于作业的重要程度以及紧急程度不同,需要重点保障重要和紧急的作业正常运行,因此需要满足它们正常运行所需的计算资源。 DLI提供的设置作业优先级功能,可以对每个Flink作业设置作业优先级,当资源不充足时,可以优先满足优先级较高的作业的计算资源
Flink作业如何进行性能调优 概念说明及监控查看 消费组积压 消费组积压可通过topic最新数据offset减去该消费组已提交最大offset计算得出,说明的是该消费组当前待消费的数据总量。 如果Flink作业对接的是kafka专享版,则可通过云监控服务(CES)进行查看。具体可选择
变更普通队列规格 前提条件 新创建的包年包月计费队列需要运行作业后才可进行规格变更。 本节操作仅适用于普通队列,不适用于弹性资源池队列。 注意事项 目前只支持64CUs以上规格包年包月队列进行规格变更。 如果在“规格变更”页面提示“Status of queue xxx is assigning
Spark SQL语法参考(即将下线) 批作业SQL常用配置项说明 批作业SQL语法概览 Spark开源命令支持说明 数据库 创建OBS表 创建DLI表 删除表 查看表 修改表 分区表相关 导入数据 插入数据 清空数据 导出查询结果 多版本备份恢复数据 表生命周期管理 跨源连接HBase
查询作业列表 功能介绍 查询当前用户的作业列表,可以根据作业ID作为ID,查询大于ID或小于ID的限定条数的作业,默认查询全部状态的作业,也可以设定运行中或其他状态条件。 调试 您可以在API Explorer中调试该接口。 URI URI格式 GET /v1.0/{project_id
Flink Jar作业运行报错,报错信息为Authentication failed 问题现象 Flink Jar作业运行异常,作业日志中有如下报错信息: org.apache.flink.shaded.curator.org.apache.curator.ConnectionState
导出DLI表数据至OBS中 支持将数据从DLI表中导出到OBS服务中,导出操作将在OBS服务新建文件夹,或覆盖已有文件夹中的内容。 注意事项 支持导出json格式的文件,且文本格式仅支持UTF-8。 只支持将DLI表(表类型为“Managed”)中的数据导出到OBS桶中,且导出的路径必须指定到文件夹级别
扫描量计费 按扫描量计费 按扫描量计费即:按运行查询作业扫描的数据量付费,如果扫描字节数量少于10M, 按10M计算。 且数据定义语言(DDL)语句(如 CREATE、ALTER、DROP TABLE等语句)、管理分区语句、失败的查询语句无需付费。 对于取消的查询,按取消查询时扫描的总数据量计费
使用DLI进行账单分析与优化 应用场景 本文主要介绍如何使用华为云DLI上的实际消费数据(文中涉及账户的信息已脱敏),在DLI的大数据分析平台上进行分析,找出费用优化的空间,并给出使用DLI过程中降低成本的一些优化措施。 流程介绍 使用DLI进行账单分析与优化的操作过程主要包括以下步骤