检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Java SDK环境配置 Java开发环境配置 SDK的获取与安装 初始化DLI客户端 父主题： Java SDK
appName("datasource-rds").getOrCreate(); 通过SQL API 访问 创建DLI跨源访问RDS的关联表，填写连接参数。 1 2 3 4 5 6 7 sparkSession.sql( "CREATE TABLE IF NOT EXISTS dli_to_rds USING
pyspark样例代码 java样例代码 - - RDS MySQL 创建RDS关联表 插入数据 查询数据 scala样例代码 pyspark样例代码 java样例代码 MySQL CDC源表 - RDS PostGre 创建RDS关联表 插入数据 查询数据 scala样例代码 pyspark样例代码
参数填写完成后，单击“立即购买”，在界面上确认当前配置是否正确。 单击“提交”完成弹性资源池的创建。 在弹性资源池的列表页，选择要操作的弹性资源池，单击操作列的“添加队列”。 配置队列的基础配置，具体参数信息如下。 表2 弹性资源池添加队列基础配置 参数名称 参数说明 名称 弹性资源池添加的队列名称。
测试DLI队列与数据源的连通性 获取数据源的私有内网IP和端口。 以RDS数据源为例：在RDS控制台“实例管理”页面，单击对应实例名称，查看“连接信息”>“内网地址”，即可获取RDS内网地址。查看“连接信息”>“数据库端口”，获取RDS数据库实例端口。 在DLI管理控制台，单击“资源管理 > 队列管理”。
在DEW创建通用凭据 本例以配置RDS实例访问凭据为例，介绍在DEW保存凭据，并在DLI作业中的配置示例。 登录DEW管理控制台 选择“凭据管理”，进入“凭据管理”页面。 单击“创建凭据”，配置凭据基本信息 凭据名称：待创建凭据的名称。本例名称为secretInfo。 凭据值：配置RDS实例的用户名和密码。
名.表名"。 说明： 如果数据库和表不存在，请先创建数据库和表，否则系统会报错并且运行失败。 user RDS数据库用户名。 password RDS数据库用户名对应密码。 driver jdbc驱动类名，访问MySQL集群请填写："com.mysql.jdbc.Driver"，访问PostGre集群请填写："org
系统按超时取消处理。 用户可以通过dli.sql.job.timeout（单位是秒）参数配置超时时间。 DLI支撑本地测试Spark作业吗? DLI暂不支持本地测试Spark作业，您可以安装DLI Livy工具，通过Livy工具提供的交互式会话能力调测Spark作业。 推荐使用使用Livy提交Spark
和“保存”。 “脏数据策略”选择“保存”时，配置“脏数据转储地址”。单击地址框选择保存脏数据的OBS路径。 仅DIS数据源支持配置脏数据策略。 （可选）根据需要设置自定义配置。相关参数详情可以参考Flink作业调优。 图3 自定义配置 单击“保存”，保存作业和相关参数。 单击“启
配置DLI程序包权限 针对不同用户，可以通过权限设置分配不同的程序包组或程序包，不同用户之间的作业效率互不影响，保障作业性能。 管理员用户、程序包组拥有程序包组的所有权限。不需要进行权限设置，且其他用户无法修改其程序包组权限。 管理员用户、程序包的所有者拥有程序包的所有权限。不需
"lakeformation:database:create", "lakeformation:database:drop", "lakeformation:database:describe",
获取共享VPC下数据源的私有内网IP和端口。 以RDS数据源为例：在RDS控制台“实例管理”页面，单击对应实例名称，查看“连接信息”>“内网地址”，即可获取RDS内网地址。查看“连接信息”>“数据库端口”，获取RDS数据库实例端口。 在DLI管理控制台，单击“资源管理 > 队列管理”。
builder.appName("datasource-rds").getOrCreate() 通过DataFrame API 访问 连接参数配置 1 2 3 4 5 url = "jdbc:mysql://to-rds-1174404952-ZgPo1nNC.datasource
url 是 无 String 数据库的URL。 连接MySQL数据库时，格式为：jdbc:mysql://MySQLAddress:MySQLPort/dbName 。 连接PostgreSQL数据库时，格式为：jdbc:postgresql://PostgreSQLAddr
Flink作业所属的队列名称。 UDF Jar 配置UDF Jar参数时显示。 优化参数 作业添加了自定义参数配置时显示该参数。 CU数量 作业配置的CU数量。 管理单元 作业配置的管理单元CU数量。 并行数 作业配置的同时运行Flink作业的任务数。 单TM所占CU数 作业配置的每个TaskManager所占CU数量。
击“下一步”。 配置同名作业策略。单击“下一步”。 勾选“配置同名替换”，如果待导入的作业名已存在，则覆盖已存在的作业配置，并且作业状态重置为草稿。 不勾选“配置同名替换”，如果待导入的作业名已存在，则不导入同名作业的配置。 确认“配置文件”和“同名作业策略”配置无误。单击“确认导入”，完成导入作业。
配置DLI与数据源网络连通（增强型跨源连接） 增强型跨源连接概述 创建增强型跨源连接 建立DLI与共享VPC中资源的网络连接 DLI常用跨源分析开发方式 父主题： 配置DLI读写外部数据源数据
设置告警规则基本信息，并配置告警规则的详细信息。 详细参数说明请参考按全量指标创建。 配置告警规则时选择的Prometheus实例应是需要配置告警通知的作业所在的弹性资源池绑定的Prometheus 实例。 配置高级设置：仅”全量指标创建”的方式支持该配置项，配置时建议开启无数据处理。即配置监控周
OBS授权 前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 样例代码 用户可以使用OBS授权操作的接口，将OBS桶的操作权限授权给DLI, 用于保存用户作业的数据和作业的运行日志等。 示例代码如下： 1
url 是 数据库的URL。 table-name 是 读取数据库中的数据所在的表名。 driver 否 连接数据库所需要的驱动。若未配置，则会自动通过URL提取。 username 否 数据库认证用户名，需要和'password'一起配置。 password 否 数据库认证密码，需要和'username'一起配置。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
