检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
start_time 否 DIS数据读取起始时间。 当该参数配置时则从配置的时间开始读取数据，有效格式为yyyy-MM-dd HH:mm:ss。 当没有配置start_time也没配置offset的时候，读取最新数据。 当没有配置start_time但配置了offset的时候，则从offset开始读取数据。
SMN服务的主题URN，用于静态主题URN配置。作为消息通知的目标主题，需要提前在SMN服务中创建。 与“urn_column”配置两者至少存在一个，同时配置时，“topic_urn”优先级更高。 connector.urn-column 否 主题URN内容的字段名，用于动态主题URN配置。 与“topi
上传Jar包。 Flink版本需要和用户Jar包指定的Flink版本保持一致。 图3 上传Jar包 表2 参数说明 名称 描述 应用程序 用户自定义的程序包。在选择程序包之前需要将对应的Jar包上传至OBS桶中，并在“数据管理>程序包管理”中创建程序包，，具体请参考创建程序包。 主类
登录DLI管理管理控制台。 选择“作业管理 > Flink作业”。 单击作业名称进入作业详情页面。 选择“作业配置信息 > 资源配置” 查看作业的CU数量，即作业占用资源总CUs数。 该CUs数可以编辑作业页面进行配置，CUs数量 = 管理单元 + (算子总并行数 / 单TM Slot数) * 单TM所占CUs数。
Flink作业模板相关 前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 新建作业模板 DLI提供新建Flink作业模板的接口。您可以使用该接口新建一个Flink作业模板。示例代码如下： 1 2 3 4
Spark作业模板的创建方法是在创建Spark作业时，可直接将配置完成的作业信息设置为模板。 在DLI管理控制台的左侧导航栏中，单击“作业模板”>“Spark模板”，页面跳转至Spark作业页面。 参考创建Spark作业配置作业参数。 作业编辑完成后，单击“设为模板”。 输入模板名称和描述信息。
设置多版本备份数据保留周期 功能描述 在DLI数据多版本功能开启后，备份数据默认保留7天，您可以通过配置系统参数“dli.multi.version.retention.days”调整保留周期。保留周期外的多版本数据后续在执行insert overwrite或者truncate语
设置多版本备份数据保留周期 功能描述 在DLI数据多版本功能开启后，备份数据默认保留7天，您可以通过配置系统参数“dli.multi.version.retention.days”调整保留周期。保留周期外的多版本数据后续在执行insert overwrite或者truncate语
num必须同时配置或者同时都不配置。 scan.partition.num 否 无 Integer 分区的个数。 与scan.partition.column、scan.partition.upper-bound、 scan.partition.upper-bound必须同时配置或者同时都不配置。
num必须同时配置或者同时都不配置。 scan.partition.num 否 无 Integer 分区的个数。 与scan.partition.column、scan.partition.upper-bound、 scan.partition.upper-bound必须同时配置或者同时都不配置。
读取数据库中的数据所在的表名。 driver 否 连接数据库所需要的驱动。若未配置，则会自动通过URL提取。 username 否 数据库认证用户名，需要和'password'一起配置。 password 否 数据库认证密码，需要和'username'一起配置。 scan.partition.column 否
参数填写完成后，单击“立即购买”，在界面上确认当前配置是否正确。 单击“提交”完成弹性资源池的创建。 在弹性资源池的列表页，选择要操作的弹性资源池，单击操作列的“添加队列”。 配置队列的基础配置，具体参数信息如下。 表4 弹性资源池添加队列基础配置 参数名称 参数说明 配置样例 名称 弹性资源池添加的队列名称。
败。 作业配置。 参考表1配置作业参数。 图1 Spark作业配置 表1 作业配置参数说明 参数名称 参数描述 作业名称（--name） 设置作业名称。 应用程序 选择需要执行的程序包。包括“.jar”和“.py”两种类型。 Jar包的管理方式： 上传OBS管理程序包：提前将对应
恢复表或指定分区的生命周期功能 表及其分区重新参与生命周期回收，默认使用当前表及分区上的生命周期配置。 开启表生命周期前可以修改表及分区的生命周期配置，防止开启表生命周期后因使用之前的配置导致数据被误回收。 disable 否 禁止表或指定分区的生命周期功能。 禁止表本身及其所有分
恢复表或指定分区的生命周期功能 表及其分区重新参与生命周期回收，默认使用当前表及分区上的生命周期配置。 开启表生命周期前可以修改表及分区的生命周期配置，防止开启表生命周期后因使用之前的配置导致数据被误回收。 disable 否 禁止表或指定分区的生命周期功能。 禁止表本身及其所有分
use-internal-schema 否 table存储模式下可配置，是否使用redis中已存在schema，默认为false。 connector.key-column 否 table存储模式下可配置，将该字段值作为redis中的ext-key，未配置时，ext-key为生成的uuid。 示例 从Redis中读取数据。
测试地址连通性 单击“测试”。 如果测试地址可连通，页面上将提示地址可达。 如果测试地址不可连通，页面上将提示地址不可达，请检查网络配置后重试。检查网络配置即检查所测试的VPC对等连接或跨源连接是否处于已激活状态。 相关操作 创建跨源成功但测试网络连通性失败怎么办？ 父主题： 管理队列
Spark作业操作步骤 在“Spark参数”中配置如下参数，其中x为优先级取值。 spark.dli.job.priority=x 登录DLI管理控制台。 单击“作业管理 > Spark作业”。 选择待配置的作业，单击操作列下的编辑。 在“Spark参数”中配置spark.dli.job.priority参数。
插入Jar包中的自定义函数。 UDF Jar包的管理方式： 上传OBS管理程序包：提前将对应的jar包上传至OBS桶中。并在此处选择对应的OBS路径。 上传DLI管理程序包：提前将对应的jar包上传至OBS桶中，并在DLI管理控制台的“数据管理>程序包管理”中创建程序包，具体操作请参考创建DLI程序包。
连接数据库所需要的驱动。若未配置，则会自动通过URL提取 connector.username 否 数据库认证用户名，需要和'connector.password'一起配置 connector.password 否 数据库认证密码，需要和'connector.username'一起配置 connector
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
