检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
</dependency> </dependencies> 图5 pom文件中添加配置 在工程路径的“src > main > java”文件夹上鼠标右键，选择“New > Package”，新建Package和类文件。 图6 新建Package和类文件 Package根据需要定义，本示例定义为：“com
阻塞Clean，如果没有Compaction操作来产生新版本的Parquet文件，那旧版本的文件就不能被Clean清理，增加存储压力。 提交Spark jar作业时，CPU与内存比例为1:4~1:8。 Compaction作业是将存量的parquet文件内的数据与新增的log中的数据进行合并，需要消耗较高的内
配置profiles.yml文件用于保存DBT与DLI的连接信息。 在安装DBT的服务器的主目录下找到 .dbt 目录，创建或编辑 profiles.yml 文件。 例如，在Windows系统中，路径可能是 C:\Users\用户名\.dbt\profiles.yml。 配置文件内容应包含DBT与DLI的连接配置，例如：
OBS表压缩率较高怎么办？ 当您在提交导入数据到DLI表的作业时，如果遇到Parquet/Orc格式的OBS表对应的文件压缩率较高，超过了5倍的压缩率，您可以通过调整配置来优化作业的性能。 具体方法：在submit-job请求体conf字段中配置“dli.sql.files.ma
建议使用临时AK/SK，获取方式可参见统一身份认证服务_获取临时AK/SK。 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 表1 DLI获取访问凭据相关开发指南 类型 操作指导 说明 Flink作业场景 Flink
1.0-SNAPSHOT.jar”。 登录OBS控制台，将生成的Jar包文件上传到OBS路径下。 Jar包文件上传的OBS桶所在的区域需与DLI的队列区域相同，不可跨区域执行操作。 （可选）可以将Jar包文件上传到DLI的程序包管理中，方便后续统一管理。 登录DLI管理控制台，单击“数据管理
覆盖指定路径：当计划导出某一个结果时，您可以选择一个已有的文件路径作为输出目录，如果这个路径下已有同名文件，将会自动覆盖这个文件，即原有的作业结果会被新导出的作业结果文件所替代。 覆盖指定路径方式适用于在同一个路径下保存唯一的作业结果文件的场景，即不需要旧的作业结果的场景。 结果条数 否
参数类型 说明 data_path 是 String 导出结果存储的路径（当前仅支持将数据存储在OBS上）。另外，该路径下的文件夹须不存在，如请求样例中的“path”文件夹。 compress 否 String 导出数据的压缩格式，目前支持gzip，bzip2和deflate压缩方式； 默认值为none，表示不压缩。
partition-name。 create-time 比较分区/文件创建时间，这不是 Hive metaStore 中的分区创建时间，而是文件系统中的文件夹/文件修改时间，如果分区文件夹以某种方式更新，例如将新文件添加到文件夹中，可能会影响数据的使用方式。 partition-time
请参考CSS安全集群配置，准备工作的主要目的是为了生成keystore.jks文件和truststore.jks文件，并将其上传至OBS桶中。 开发说明-https off 如果没有开启https访问的话，不需要去生成keystore.jks和truststore.jks文件的，只需要设置好ssl访问和账号密码参数即可。
Flink Jar作业类 Flink Jar作业是否支持上传配置文件，要如何操作？ Flink Jar 包冲突，导致作业提交失败 Flink Jar作业访问DWS启动异常，提示客户端连接数太多错误 Flink Jar作业运行报错，报错信息为Authentication failed
SDK概述下载样例代码。 kind：资源包类型，当前支持包类型分别为： jar：用户jar文件 pyfile：用户Python文件 file：用户文件 modelfile：用户AI模型文件 paths：对应资源包的OBS路径，参数构成为：{bucketName}.{obs域名}/
所指定的新的OBS路径必须是已经存在的绝对路径，否则将报错。 若新增分区指定的路径包含子目录（或嵌套子目录），则子目录下面的所有文件类型及内容也将作为该分区的记录。用户需要保证该分区目录下所有文件类型和文件内容与表的字段一致，否则查询将报错。 示例 将student表的分区dt='2008-08-08',ci
kind 是 String 分组资源文件的类型。 jar：用户jar文件。 pyFile：用户python文件。 file：用户文件。 modelFile：用户AI模型文件。 说明： 上传的同一组资源包含不同文件类型时，均选择“file”类型作为这次上传文件的类型。 group 是 String
和性能综合考虑是否开启。 证书文件还需要在作业配置页面的“其他依赖文件”中完成配置。 OBS路径/opt/flink/usrlib/userData/为默认存储依赖文件路径。 请确保已上传密钥和证书到指定的OBS路径下，并在作业配置中的其他依赖文件中引入。 表2 Flink作业传输通信加密配置参数
可以参考使用Hive语法创建OBS表。 回收站数据自动清理需要在OBS并行文件系统的桶上配置回收站数据的生命周期规则。具体步骤参考如下： 在OBS服务控制台页面左侧选择“并行文件系统”，单击对应的文件系统名称。 在“基础配置”下单击“生命周期规则”，创建或者编辑生命周期规则。 图1
参数名称 是否必选 参数类型 说明 kind 否 String 指定文件类型。包括以下文件类型： jar：用户jar文件。 pyFile：用户python文件。 file：用户文件。 modelFile：用户AI模型文件。 tags 否 String 指定标签过滤。 请求消息 无请求参数。
输入长度不能超过128个字符。 Truststore路径 上传SSL Truststore文件的OBS路径。 MRS Kafka请填写Truststore.jks文件的OBS路径。 DMS Kafka请填写client.jks文件的OBS路径。 Truststore密码 truststore密码。 Keystore路径
区版本做了安全加固。为了避免依赖包兼容性问题或日志输出及转储问题，打包时请注意排除以下文件： 系统内置的依赖包，或者在Maven或者Sbt构建工具中将scope设为provided 日志配置文件（例如l：“log4j.properties”或者“logback.xml”等） 日志
使用限制 创建含有复杂数据类型字段的表时，该表存储格式不支持CSV（txt）。 如果表中含有复杂数据类型字段时，该表不支持CSV（txt）格式的文件数据导入。 MAP数据类型建表必须指定schema，且不支持date、short、timestamp数据类型。 对于JSON格式OBS表，MAP的键类型只支持STRING类型。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
