检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DLI分析账单消费数据 应用场景 本文主要介绍如何使用华为云DLI上的实际消费数据（文中涉及账户的信息已脱敏），在DLI的大数据分析平台上进行分析，找出费用优化的空间，并给出使用DLI过程中降低成本的一些优化措施。 流程介绍 使用DLI进行账单分析与优化的操作过程主要包括以下步骤：
Spark作业使用咨询 Spark如何将数据写入到DLI表中 通用队列操作OBS表如何设置AK/SK 如何查看DLI Spark作业的实际资源使用情况 将Spark作业结果存储在MySQL数据库中，缺少pymysql模块，如何使用python脚本访问MySQL数据库？ 如何在DLI中运行复杂PySpark程序？
String 分组资源文件的类型。 jar：用户jar文件。 pyFile：用户python文件。 file：用户文件。 modelFile：用户AI模型文件。 说明： 上传的同一组资源包含不同文件类型时，均选择“file”类型作为这次上传文件的类型。 group 是 String 将要创建的分组名。
一管理，同时可以为每个企业项目设置拥有不同权限的用户组和用户。 DLI支持在创建弹性资源池时选择企业项目，本节操作为您介绍DLI弹性资源池如何绑定、修改企业项目。 修改弹性资源池的企业项目，会同时修改弹性资源池下的队列资源的企业项目。 即弹性资源池下仅支持添加同一企业项目的队列资源。
查看队列的基本信息 本节操作介绍在管理控制台如何查看队列的基本信息，包括队列的引擎类型和引擎版本。 查看队列的基本信息 登录DLI管理控制台。 选择“资源管理 > 队列管理”。 进入队列列表页面，选择您需要查看的队列。 在列表页面的右上方单击可以自定义显示列，并设置表格内容显示规则、操作列显示规则。
x时spark.hadoopRDD.ignoreEmptySplits=true。 升级引擎版本后是否对作业有影响： 有影响，需要判断是否使用分区名做业务判断。 eventlog的压缩格式设置为zstd 说明： Spark3.3.x版本中，spark.eventLog.compression
SQL作业开发类 SQL作业使用咨询 如何合并小文件 DLI如何访问OBS桶中的数据 创建OBS表时怎样指定OBS路径 关联OBS桶中嵌套的JSON格式数据如何创建表 count函数如何进行聚合 怎样将一个区域中的DLI表数据同步到另一个区域中？ SQL作业如何指定表的部分字段进行表数据的插入
用户在使用Flink 1.12版本，则依赖的Dis connector版本需要不低于2.0.1，详细代码参考DISFlinkConnector相关依赖，如何配置connector，详细参考自定义Flink Streaming作业。 若读取DIS，且配置groupId，则需要提前在DIS的“App管理”中创建所需的App名称。
目进行统一管理，同时可以为每个企业项目设置拥有不同权限的用户组和用户。 DLI支持在创建队列时选择企业项目，本节操作为您介绍DLI队列资源如何绑定、修改企业项目。 当前仅支持对未加入弹性资源池的队列资源修改企业项目。 前提条件 在绑定企业项目前，您已在“企业项目管理控制台”创建创建企业项目。
DLI API类 如何获取AK/SK？ 如何获取项目ID？ 提交SQL作业时，返回“unsupported media Type”信息 创建SQL作业的API执行超过时间限制，运行超时报错 API接口返回的中文字符为乱码，如何解决？
查看弹性资源池的基本信息 资源池创建完成后您可以通过管理控制台查看和管理您的弹性资源池。 本节操作介绍在管理控制台如何查看弹性资源池基本信息，包括弹性资源池的VPC网段、IPv6网段、创建时间等信息。 查看弹性资源池的基本信息 登录DLI管理控制台。 选择“资源管理 > 弹性资源池”。
interval 30 该配置表示检测当前作业是否需要动态扩缩的时间周期，其单位为分钟，默认值为30。例如30表示每隔30分钟进行一次检测，判断是否需要对作业使用资源量进行扩缩。 注意：只有当用户开启动态扩缩时，该配置才有意义。 flink.dli.job.cu.max 用户CU初始值
查看增强型跨源连接的基本信息 增强型跨源连接创建完成后您可以通过管理控制台查看和管理您的增强型跨源连接。 本节操作介绍在管理控制台如何查看增强型跨源连接基本信息，包括增强型跨源连接的是否支持IPv6、主机信息等。 查看增强型跨源连接的基本信息 登录DLI管理控制台。 选择“跨源管理
num.buckets=5 Flink index.type=BUCKET hoodie.bucket.index.num.buckets=5 判断使用分区表还是非分区表 根据表的使用场景一般将表分为事实表和维度表： 事实表通常整表数据规模较大，以新增数据为主，更新数据占比小，且更新数
Hudi表的分区字段。无分区表不指定，分区表必须指定 write.precombine.field 是 无 String 数据合并字段 基于此字段的大小来判断消息是否进行更新。 如果您没有设置该参数，则系统默认会按照消息在引擎内部处理的先后顺序进行更新。 write.payload.class 否
Flink作业咨询类 如何给子用户授权查看Flink作业？ Flink作业怎样设置“异常自动重启”？ Flink作业如何保存作业日志？ Flink作业管理界面对用户进行授权时提示用户不存在怎么办？ 手动停止了Flink作业，再次启动时怎样从指定Checkpoint恢复？ DLI使
Flink Jar作业类 Flink Jar作业是否支持上传配置文件，要如何操作？ Flink Jar 包冲突，导致作业提交失败 Flink Jar作业访问DWS启动异常，提示客户端连接数太多错误 Flink Jar作业运行报错，报错信息为Authentication failed
enabled：强制使用distinct聚合算子的开关。配置为true时不再根据spark.sql.keep.distinct.expandThreshold来判断。 适用场景：包含count(distinct)的多维分析（with cube）的查询场景，可能包含多个count(distinct)，且包含cube/roll
相关组件都运行在容器中，通过下载DLI提供的自定义镜像，可以改变Spark作业和Flink作业的容器运行环境。例如，在自定义镜像中加入机器学习相关的Python包或者C库，可以通过这种方式方便地帮助用户进行功能扩展。 发布区域：全部 创建自定义镜像
null错误 Flink SQL作业消费Kafka后sink到es集群，作业执行成功，但未写入数据 Flink Opensource SQL如何解析复杂嵌套 JSON？ Flink Opensource SQL从RDS数据库读取的时间和RDS数据库存储的时间为什么会不一致？ Flink
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
