如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
adaptive.skewedPartitionMaxSplits表示倾斜拆分力度，可不加，默认为5，最大为10。 单击“执行”重新运行作业，查看优化效果。 父主题： SQL作业开发类
资产识别与管理 DLI 可以通过标签实现资源的标识与管理。 使用场景 通常您的业务系统可能使用了华为云的多种云服务，您可以为这些云服务下不同的资源实例分别设置标签，各服务的计费详单会体现这些资源实例设置的标签。如果您的业务系统是由多个不同的应用构成，为同一种应用拥有的资源实例设置
DLI跨源分析场景连接外部数据源时，由于数据源的VPC与DLI VPC不同，网络无法连通，导致DLI无法读取数据源数据。DLI提供的增强型跨源连接功能可以实现DLI与数据源的网络连通。 本节操作为您介绍跨VPC的数据源网络连通方案： 创建增强型跨源连接：采用对等连接的方式打通DLI与数据源的VPC网络。
当社区版Flink提供的Connector不能满足特定需求时，用户可以通过Jar作业来实现自定义的Connector或数据处理逻辑。 适合需要实现UDF（用户定义函数）或特定库集成的场景，用户可以利用Flink的生态系统来实现高级的流处理逻辑和状态管理。 创建Flink Jar作业请参考创建Flink
增强型跨源支持项目级授权，授权后，项目内的用户具备该增强型跨源连接的操作权。可查看该增强型跨源连接、可将创建的弹性资源池与该增强型跨源连接绑定、可自定义路由等操作。以此实现增强型跨源连接的跨项目应用。本节操作介绍对增强型跨源连接授权或回收权限的操作步骤。 如果被授权的项目属于相同区域（region）的不同用户
ation。 HetuEngine简介 HetuEngine是华为推出的高性能交互式SQL分析及数据虚拟化引擎，能够与大数据生态无缝融合，实现海量数据的秒级交互式查询。 DLI+HetuEngine能够快速处理大规模数据集的查询请求，迅速和高效从大数据中提取信息，极大地简化了数据
（废弃，不推荐使用）DLI服务的DWS Connector：支持自定义sink和source函数，允许用户根据具体需求实现相应的sink或source函数，以实现特定的数据读写逻辑。 DLI提供的DWS Connector使用方法请参考表1 表1 DWS Connector支持类别
场景举例 生效机制 操作影响 场景一 修改了原有程序包类的实现逻辑，重新创建的函数指定的JAR包名和类名保持和原有一致。 在Spark SQL队列下已创建自定义函数F1，指定类名C1，Jar包名J1。 后续对J1包中函数实现做了逻辑修改，重新执行创建函数F2，指定类名C1，Jar包名J1。
图1 Flink作业配置参数 对于Flink Jar作业，您需要在代码中开启Checkpoint，同时如果有自定义的状态需要保存，您还需要实现ListCheckpointed接口，并为每个算子设置唯一ID。然后在作业配置中，勾选“从Checkpoint恢复”，并准确配置Checkpoint路径。
2026年6月30日 更多版本支持信息请参考DLI计算引擎版本生命周期。 Flink 1.15版本说明 Flink 1.15版本在语法设计上实现了更高的兼容性，与主流开源技术标准保持一致。 Flink 1.15版本新增读写Hive、Hudi等Connector。 Flink 1.1
分钟级别扩缩容，从容应对流量洪峰和资源诉求。 支持分时设置队列优先级和配额，提高资源利用率。 作业级资源隔离（暂未实现，后续版本支持） 支持独立Spark实例运行SQL作业，减少作业间相互影响。 自动弹性（暂未实现，后续版本支持） 基于队列负载和优先级实时自动更新队列配额。 弹性资源池解决方案主要解决了以下问题和挑战。
编写UDAF函数代码。UDAF函数实现，主要注意以下几点： 自定义UDAF需要继承org.apache.hadoop.hive.ql.exec.UDAF和org.apache.hadoop.hive.ql.exec.UDAFEvaluator类。函数类需要继承UDAF类，计算类Evaluator实现UDAFEvaluator接口。
滑动窗口函数指定元素到一个定长的窗口中。和滚动窗口很像，有窗口大小参数，另外增加了一个窗口滑动步长参数。如果滑动步长小于窗口大小，就能产生数据重叠的效果。在这个例子里，数据可以被分配在多个窗口。 例如：可以定义一个每5分钟滑动一次。大小为10分钟的窗口。每5分钟获得最近10分钟到达的数据的窗口
dli.sql.dynamicPartitionOverwrite.enabled=true，然后通过insert overwrite语句实现。 “dli.sql.dynamicPartitionOverwrite.enabled”默认值为“false”，在不配置时它会覆盖整张表的数据。
细粒度权限管理：P公司内部有N个子部门，子部门之间需要对数据进行共享和隔离。DLI支持计算资源按租户隔离，保障作业SLA；支持数据权限控制到表/列，帮助企业实现部门间数据共享和权限管理。 建议搭配以下服务使用 OBS、DIS、DataArts Studio 图3 运营商大数据分析 地理大数据分析 地理大数据分析
行的作业，并点击下方窗格，唤出作业详情，在”参数设置”一栏中，可以检查参数配置情况。 执行SQL查询刚才写入的内容： select id,comb,name,dt from hudi_table where dt='2021-08-28'; 可以在编辑器下方窗格查看查询结果。 删除刚才创建的Hudi表：
问所有Flink和Spark支持的数据源与输出源，如Kafka、Hbase、ElasticSearch等。 自拓展生态 用户可通过编写代码实现从想要的云生态或者开源生态获取数据，作为Flink作业的输入数据。 DLI Flink Connector支持列表请参考Connector概述。
Class文件 编写UDF函数代码。UDF函数实现，主要注意以下几点： 自定义UDF需要继承org.apache.hadoop.hive.ql.exec.UDF。 需要实现evaluate函数，evaluate函数支持重载。 详细UDF函数实现，可以参考如下样例代码： package com
个统一的IPv6地址。 对于IPv4的支持，是通过将IPv4映射到IPv6的取值范围（RFC 4291#section-2.5.5.2）来实现的。当创建一个IPv4时，会被映射到IPv6。当格式化时，如果数据是IPv4又会被重新映射为IPv4。 其他的地址则会按照RFC 5952所定义的规范格式来进行格式化。
(property_name=property_value, property_name=property_value, ...)]可利用以下语句实现NULL值转换为空字符串。 ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
您即将访问非华为云网站，请注意账号财产安全
