检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
sql.SparkSession; import java.io.IOException; import java.nio.file.Files; import java.nio.file.Paths; public class java_css_security_httpson {
SDK的获取与安装 Java SDK安装方式 您可以通过以下两种方式安装Java SDK。 导入Maven依赖，适用于使用Maven管理的Java项目。具体操作请参考方法一：通过Maven安装DLI SDK依赖。 在集成开发环境中导入JAR文件，适用于使用Eclipse作为集成开
DLI委托。 授权DLI读写OBS的权限并不包含在的DLI委托dli_management_agency中。需要您创建自定义委托，并将委托配置在作业中（使用Flink 1.15和Spark 3.3及以上版本的引擎执行作业时需要配置）。 了解dli_management_agency请参考DLI委托概述。
Java SDK环境配置 Java开发环境配置 SDK的获取与安装 初始化DLI客户端 父主题： Java SDK
Java开发环境配置 操作场景 在安装和使用Java SDK前，确保您已经完成开发环境的基本配置。 Java SDK要求使用JDK1.8或更高版本。考虑到后续版本的兼容性，推荐使用1.8版本。 在Java运行环境配置好的情况下，打开windows的命令行，执行命令Java -version，可以检查版本信息。
Flink作业输出流写入数据到OBS，通过该OBS文件路径创建的DLI表查询无数据 问题现象 使用Flink作业输出流写入数据到了OBS中，通过该OBS文件路径创建的DLI表进行数据查询时，无法查询到数据。 例如，使用如下Flink结果表将数据写入到OBS的“obs://obs-sink/car_infos”路径下。
有B账户OBS桶的元数据信息和权限信息的读取权限，以及路径的读写权限，则A账户可将数据导出至B账户的OBS路径中。 导出数据步骤 导出数据的入口有两个，分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面导出数据。 在管理控制台左侧，单击“数据管理”>“库表管理”。 单
java样例代码 操作场景 本例提供使用Spark作业访问DWS数据源的java样例代码。 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。
前提条件 待导入的数据已存储到OBS上。 导入数据步骤 导入数据的入口有两个，分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面导入数据。 在管理控制台的左侧，选择“数据管理”>“库表管理”。 单击需导入数据的表对应的数据库名称，进入该数据库的“表管理”页面。 在目标表“操作
程序包管理概述 在执行DLI作业前需要将UDF Jar包或Jar作业程序包上传到云平台进行统一的管理和维护。 有以下两种方式管理程序包： （推荐使用）上传至OBS管理程序包：提前将对应的jar包上传至OBS桶中，在作业配置时选择对应的OBS路径。 （DLI程序包功能即将停用）上传
添加分区（只支持OBS表） 功能描述 创建OBS分区表成功后，OBS表实际还没有生成分区信息。生成分区信息主要有以下两种场景： 给OBS分区表插入对应的分区数据，数据插入成功后OBS表才会生成分区元数据信息，后续则可以根据对应分区列进行查询等操作。 手工拷贝分区目录和数据到OBS分区表路
SparkSession; import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream;
ObsException: OBS servcie Error Message. Request Error: ... Cause by: ObsException: com.obs.services.exception.ObsException: OBSs servcie Error Message
使用Spark作业访问sftp中的文件，作业运行失败，日志显示访问目录异常 Spark作业不支持访问sftp，建议将文件数据上传到OBS，再通过Spark作业进行读取和分析。 上传数据到OBS桶：通过OBS管理控制台或者使用命令行工具将存储在sftp中的文件数据上传到OBS桶中。
TRUE)。 当OBS桶目录下有文件夹和文件同名时，加载数据会优先指向该路径下的文件而非文件夹。建议创建OBS对象时，在同一级中不要出现同名的文件和文件夹。 导入分区数据 DLI提供导入数据的接口。您可以使用该接口将存储在OBS中的数据导入到已创建的DLI表或者OBS表指定分区中。示例代码如下：
初始化DLI客户端 使用DLI SDK工具访问DLI，需要用户初始化DLI客户端。用户可以使用AK/SK(Access Key ID/Secret Access Key)或Token两种认证方式初始化客户端，示例代码如下： 前提条件 已参考Java SDK概述配置Java SDK环境。
java样例代码 开发说明 redis只支持增强型跨源。只能使用包年包月队列。 前提条件 在DLI管理控制台上已完成创建增强跨源连接，并绑定包年包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或
java样例代码 开发说明 前提条件 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现 导入依赖 涉及到的mvn依赖库
java样例代码 开发说明 本样例只适用于MRS的OpenTSDB。 前提条件 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。
java样例代码 开发说明 mongo只支持增强型跨源。只能使用包年包月队列。 DDS即文档数据库服务，兼容MongoDB协议。 前提条件 在DLI管理控制台上已完成创建增强跨源连接，并绑定包年/包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
