检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
5。 表1 Spark 2.4.5版本优势 特性 说明 支持配置小文件合并 使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。 参考如何合并小文件完成合并小文件。 支持修改非分区表或分区表的列注释 修改非分区表或分区表的列注释。
committer小文件写性能 提升对象存储服务（OBS）在处理小文件写入时的性能，提高数据传输效率。 动态Executor shuffle数据优化 提升资源扩缩容的稳定性，当shuffle文件不需要时清理Executor。 支持配置小文件合并 使用SQL过程中，生成的小文件过多时，会导
请求消息 表2 请求参数说明 参数名称 是否必选 参数类型 说明 zip_file 是 String 从OBS上导入的作业zip文件路径，支持填写文件夹，导入文件夹下的所有zip文件。 说明： 文件夹中只能包含zip文件。 is_cover 否 Boolean 如果导入的作业与服务已有的作业同名，是否覆盖服务中已有的作业。
指定目录的子目录数量 file_num 指定目录的文件数量 storage_size 该目录的Size（bytes） storage_size(unit) 该目录的Size（KB） storage_path 指定目录的完整FS绝对路径 space_consumed 返回文件/目录在集群中
账号B在共享的增强型跨源连接上绑定DLI弹性资源池。 账号B登录DLI管理控制台， 在左侧导航栏中，选择“跨源管理 > 增强型跨源 ”。 选择账号A共享的增强型跨源连接，单击操作列下的“更多 > 绑定弹性资源池”。 选择已创建的弹性资源池，单击“确定”完成资源的绑定。 若无可选弹性资源池，可参考创建弹性资源池并添加队列创建新的弹性资源池。
geneder,age,address), ROW(score) from source1 as d join hbaseSource for system_time as of d.proctime as h on d.id = h.id; 父主题： 创建维表
Archive（归档）是为了减轻Hudi读写元数据的压力，所有的元数据都存放在这个路径：Hudi表根目录/.hoodie目录，如果.hoodie目录下的文件数量超过10000就会发现Hudi表有非常明显的读写时延。 规则 Hudi表必须执行Archive。 对于Hudi的MOR类型和COW类型的表，都需要开启Archive。
该操作不需要通过索引去查询具体更新的文件分区，因此它的速度比upsert快。当不包含更新数据时建议使用该操作，如果存在更新数据使用该操作会出现重复数据。 bulk_insert：该操作会对主键进行排序后直接以写普通parquet表的方式插入Hudi表，该操作性能是最高的，但是无法控制小文件，而upser
保存SQL模板 功能介绍 该接口用于存储指定的SQL语句，后续可以重复使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式： POST /v1.0/{project_id}/sqls 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id
> 权限 > 用户”。 单击“更多 > 下载认证凭据”，保存后解压得到用户的keytab文件与krb5.conf文件。 上传认证凭证到OBS桶。 关于如何创建OBS桶并上传数据，请参考《对象存储服务快速入门》。 创建跨源认证。 登录DLI管理控制台。 选择“跨源管理 > 跨源认证”。
列，本例创建弹性资源池“dli_resource_pool”、队列“dli_queue_01”。 登录DLI管理控制台。 在左侧导航栏单击“资源管理 > 弹性资源池”，可进入弹性资源池管理页面。 在弹性资源池管理界面，单击界面右上角的“购买弹性资源池”。 在“购买弹性资源池”界面，填写具体的弹性资源池参数。
partition-name。 create-time 比较分区/文件创建时间，这不是 Hive metaStore 中的分区创建时间，而是文件系统中的文件夹/文件修改时间，如果分区文件夹以某种方式更新，例如将新文件添加到文件夹中，可能会影响数据的使用方式。 partition-time
分析服务。DLI将Flink作业从数据仓库服务（DWS）中读取数据。DWS数据库内核兼容PostgreSQL，PostgreSQL数据库可存储更加复杂类型的数据，支持空间信息服务、多版本并发控制（MVCC）、高并发，适用场景包括位置应用、金融保险、互联网电商等。 DWS的更多信息，请参见《数据仓库服务管理指南》。
Flink Jar作业类 Flink Jar作业是否支持上传配置文件，要如何操作？ Flink Jar 包冲突，导致作业提交失败 Flink Jar作业访问DWS启动异常，提示客户端连接数太多错误 Flink Jar作业运行报错，报错信息为Authentication failed
维表配置，数据拉取最大重试次数。 krb_auth_name 否 无 String DLI侧创建的Kerberos类型的跨源认证名称。 数据类型映射 HBase以字节数组存储所有数据。在读和写过程中要序列化和反序列化数据。 Flink的HBase连接器利用HBase（Hadoop) 的工具类 org.apache
区版本做了安全加固。为了避免依赖包兼容性问题或日志输出及转储问题，打包时请注意排除以下文件： 系统内置的依赖包，或者在Maven或者Sbt构建工具中将scope设为provided 日志配置文件（例如l：“log4j.properties”或者“logback.xml”等） 日志
跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联HBase之前需要创建跨源连接。管理控制台操作请参考增强型跨源连接。 请确保在DLI队列host文件中添加MRS集群master节点的“/etc/hosts”信息。 如何添加IP域名映射，请参见《数据湖探索用户指南》中增强型跨源连接章节。
在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 操作前准备 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency>
在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 操作前准备 import相关依赖包 1 2 3 from __future__
中所有文件，包含子目录中的文件。 false compression 否 指定压缩格式。一般为parquet格式时指定该参数，推荐使用'zstd'压缩格式。 - 示例1：创建DLI非分区表 示例说明：创建名为table1的DLI非分区表，使用USING关键字指定该表的存储格式为orc格式。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
