检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
</dependency> </dependencies> 图5 pom文件中添加配置 在工程路径的“src > main > java”文件夹上鼠标右键，选择“New > Package”，新建Package和类文件。 图6 新建Package和类文件 Package根据需要定义，本示例定义为：“com
could not be found."} 原因分析 DLI跨源连接需要使用VPC、子网、路由、对等连接、端口功能，因此需要获得VPC（虚拟私有云）的VPC Administrator权限。 客户未给VPC服务授权导致DLI跨源连接报错找不到子网。 处理步骤 登录DLI管理控制台，选择“全局配置
按照如下方式查看taskmanager.out文件中的数据结果： 登录DLI管理控制台，选择“作业管理 > Flink作业”。 单击对应的Flink作业名称，选择“运行日志”，单击“OBS桶”，根据作业运行的日期，找到对应日志的文件夹。 进入对应日期的文件夹后，找到名字中包含“taskmanager”的文件夹进入，下载获取taskmanager
支持的包类型如下： JAR：用户jar文件 PyFile：用户Python文件 File：用户文件 ModelFile：用户AI模型文件 JAR OBS路径 选择对应程序包的OBS路径。 说明： 程序包需提前上传至OBS服务中保存。 只支持选择文件。 Flink Jar所在的OBS路径
覆盖指定路径：当计划导出某一个结果时，您可以选择一个已有的文件路径作为输出目录，如果这个路径下已有同名文件，将会自动覆盖这个文件，即原有的作业结果会被新导出的作业结果文件所替代。 覆盖指定路径方式适用于在同一个路径下保存唯一的作业结果文件的场景，即不需要旧的作业结果的场景。 结果条数 否
建议使用临时AK/SK，获取方式可参见统一身份认证服务_获取临时AK/SK。 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 表1 DLI获取访问凭据相关开发指南 类型 操作指导 说明 FLink作业场景 Flink
OBS表压缩率较高怎么办？ 当您在提交导入数据到DLI表的作业时，如果遇到Parquet/Orc格式的OBS表对应的文件压缩率较高，超过了5倍的压缩率，您可以通过调整配置来优化作业的性能。 具体方法：在submit-job请求体conf字段中配置“dli.sql.files.ma
</dependency> </dependencies> 图5 pom文件中添加配置 在工程路径的“src > main > java”文件夹上鼠标右键，选择“New > Package”，新建Package和类文件。 Package根据需要定义，本示例定义为：“com.dli.demo”
OBS桶”，根据作业运行的日期，找到对应日志的文件夹。 进入对应日期的文件夹后，找到名字中包含“taskmanager”或“jobmanager”的文件夹进入，下载获取taskmanager.out和jobmanager.out文件查看结果日志。 验证跨源是否正确绑定且安全组规则已对该队列开放。
说明 type 是 输出通道类型，"mrs_hbase"表示输出到MRS的HBase中。 region 是 MRS服务所在区域。 cluster_address 是 待插入数据表所属集群zookeeper地址，形如：ip1,ip2:port。 table_name 是 待插入数据的表名。
projectId指项目编号，从华为云“基本信息>我的凭证”页面获取项目编号。 “？”后面接其他配置项，每个配置项以“key=value”的形式列出，配置项之间以“;”隔开，详见表2 表2 属性配置项 属性项（key） 必须配置 默认值（value） 描述 queuename 是 - DLI服务的队列名称。
是否必选 参数类型 说明 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 job_id 是 String 作业ID。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 data_path 是 String 导出结果存储的路径（当前
Elasticsearch，DCS，DDS，DIS，DMS，DWS，EdgeHub，MRS HBase，MRS Kafka，开源Kafka，文件系统，OBS，RDS，SMN 表1 数据格式和支持的输入输出流 数据格式 支持的输入流 支持的输出流 Avro - OBS输出流 Avro_merge
单击所建桶“dli-test-obs01”，进入“对象”页面。 选择左侧列表中的“对象”，选择“上传对象”，将需要上传的文件，例如“spark-examples.jar”上传到指定目录，单击“确定”。 本例文件上传成功后，文件路径为“obs://dli-test-obs01/spark-examples.jar”。
若新增分区指定的路径包含子目录（或嵌套子目录），则子目录下面的所有文件类型及内容也将作为该分区的记录。用户需要保证该分区目录下所有文件类型和文件内容与表的字段一致，否则查询将报错。 示例 将student表的分区dt='2008-08-08',city='xxx'的OBS路径设置为“
请参考CSS安全集群配置，准备工作的主要目的是为了生成keystore.jks文件和truststore.jks文件，并将其上传至OBS桶中。 开发说明-https off 如果没有开启https访问的话，不需要去生成keystore.jks和truststore.jks文件的，只需要设置好ssl访问和账号密码参数即可。
可以参考使用Hive语法创建OBS表。 回收站数据自动清理需要在OBS并行文件系统的桶上配置回收站数据的生命周期规则。具体步骤参考如下： 在OBS服务控制台页面左侧选择“并行文件系统”，单击对应的文件系统名称。 在“基础配置”下单击“生命周期规则”，创建或者编辑生命周期规则。 图1
说明 type 是 输出通道类型，"mrs_hbase"表示输出到MRS的HBase中。 region 是 MRS服务所在区域。 cluster_address 是 待插入数据表所属集群zookeeper地址，形如：ip1,ip2:port。 table_name 是 待插入数据的表名。
名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。 输入长度不能超过128个字符。 Truststore路径 上传SSL Truststore文件的OBS路径。 MRS Kafka请填写Truststore.jks文件的OBS路径。 DMS Kafka请填写client.jks文件的OBS路径。
project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 表2 query参数说明 参数名称 是否必选 参数类型 说明 kind 否 String 指定文件类型。包括以下文件类型： jar：用户jar文件。 pyFile：用户python文件。 file：用户文件。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
