检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
目录已经存在，系统将返回错误信息，无法执行导出操作。 “Overwrite”：覆盖。在指定目录下新建文件，会删除已有文件。 data_path 是 String 导入或导出的文件路径。 data_type 是 String 导入或导出的数据类型（当前支持csv和json格式）。 database_name
将jdk上传到linux服务器对应的目录下并执行解压命令，此处上传到/usr/local目录下。 sudo tar -xzf jdk-8u261-linux-x64.tar.gz -C /usr/local/ 配置环境变量。 编辑.bashrc或.profile文件，添加以下行： export
无 String 上传“user.keytab”文件的OBS路径。如果开启了kerberos认证，则必须设置。 properties.connector.kerberos.krb5 否 无 String 上传“krb5.conf”文件的OBS路径。如果开启了kerberos认证，则必须设置。
a.logRetentionDuration Delta log文件过期时间。每当Delta log进行checkpoint动作时，会检查是否有需要删除的过期文件，如果有，则删除这些过期文件以防Delta log文件无限增长。 30天
aarch64 默认值为x86_64。 说明： aarch64架构计算资源使用华为鲲鹏系列服务器。 resource_mode 否 Integer 队列资源模式。支持以下两种类型： 0：共享资源模式 1：专属资源模式 labels 否 Array of Strings 创建队列的
committer小文件写性能 提升对象存储服务（OBS）在处理小文件写入时的性能，提高数据传输效率。 动态Executor shuffle数据优化 提升资源扩缩容的稳定性，当shuffle文件不需要时清理Executor。 支持配置小文件合并 使用SQL过程中，生成的小文件过多时，会导
用户安全集群的新登录密码。 krb5_conf 否 String krb5配置文件obs路径。 keytab 否 String keytab配置文件obs路径。 truststore_location 否 String truststore配置文件obs路径。 truststore_password 否
径，cer类型文件。 datasource_type 是 String 数据源类型，目前支持CSS,KRB,passwd,Kafka_SSL。 krb5_conf 否 String krb5配置文件obs路径。 keytab 否 String keytab配置文件obs路径。 truststore_location
用户安全集群的新登录密码。 krb5_conf 否 String krb5配置文件obs路径。 keytab 否 String keytab配置文件obs路径。 truststore_location 否 String truststore配置文件obs路径。 truststore_password 否
径，cer类型文件。 datasource_type 是 String 数据源类型，目前支持CSS,KRB,passwd,Kafka_SSL。 krb5_conf 否 String krb5配置文件obs路径。 keytab 否 String keytab配置文件obs路径。 truststore_location
程序包 程序包支持删除，但不支持删除程序包组。 支持上传的程序包类型： JAR：用户jar文件。 PyFile：用户Python文件。 File：用户文件。 ModelFile：用户AI模型文件。 增强型跨源连接约束限制 更多增强型跨源连接约束限制请参考增强型跨源连接概述。 表7 增强型跨源连接约束限制
可过options参数设置，例如：csv的分隔符，转义符等。 当OBS桶目录下有文件夹和文件同名时，加载数据会优先指向该路径下的文件而非文件夹。建议创建OBS对象时，在同一级中不要出现同名的文件和文件夹。 导出数据 DLI提供导出数据的接口。您可以使用该接口将DLI表中的数据导出到OBS中。示例代码如下：
</dependency> </dependencies> 图5 pom文件中添加配置 在工程路径的“src > main > java”文件夹上鼠标右键，选择“New > Package”，新建Package和类文件。 图6 新建Package和类文件 Package根据需要定义，本示例定义为：“com
5。 表1 Spark 2.4.5版本优势 特性 说明 支持配置小文件合并 使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。 参考如何合并小文件完成合并小文件。 支持修改非分区表或分区表的列注释 修改非分区表或分区表的列注释。
committer小文件写性能 提升对象存储服务（OBS）在处理小文件写入时的性能，提高数据传输效率。 动态Executor shuffle数据优化 提升资源扩缩容的稳定性，当shuffle文件不需要时清理Executor。 支持配置小文件合并 使用SQL过程中，生成的小文件过多时，会导
sink三个部分。长度限制：0-1024*1024个字符。 run_mode 否 String 作业运行模式： shared_cluster：共享。 exclusive_cluster：独享。 edge_node：边缘节点。 默认值为“shared_cluster”。 cu_number
file_num 指定目录的文件数量 storage_size 该目录的Size（bytes） storage_size(unit) 该目录的Size（KB） storage_path 指定目录的完整FS绝对路径 space_consumed 返回文件/目录在集群中占用的实际空间，即它考虑了为集群设置的复制因子
参数名称 是否必选 参数类型 说明 zip_file 是 String 从OBS上导入的作业zip文件路径，支持填写文件夹，导入文件夹下的所有zip文件。 说明： 文件夹中只能包含zip文件。 is_cover 否 Boolean 如果导入的作业与服务已有的作业同名，是否覆盖服务中已有的作业。
committer小文件写性能 提升对象存储服务（OBS）在处理小文件写入时的性能，提高数据传输效率。 动态Executor shuffle数据优化 提升资源扩缩容的稳定性，当shuffle文件不需要时清理Executor。 支持配置小文件合并 使用SQL过程中，生成的小文件过多时，会导
单击对应的Flink作业名称，选择“运行日志”，单击“OBS桶”，根据作业运行的日期，找到对应日志的文件夹。 进入对应日期的文件夹后，找到名字中包含“taskmanager”的文件夹进入，下载获取taskmanager.out文件查看结果日志。 数据结果参考如下： +I(202103251202020001
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
