检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
说明 connector 是 无 String connector类型，需配置为'redis'。 host 是 无 String redis连接地址。 port 否 6379 Integer redis连接端口。 password 否 无 String redis认证密码。 namespace
图9 队列列表 单击“全局配置 > 服务授权”，选中“VPC Administrator”，单击“更新委托权限”，赋予DLI操作用户VPC资源的权限，用于创建VPC的“对等连接”。 图10 更新委托权限 单击“跨源连接 > 增强型跨源 > 创建”，配置如下连接信息后单击“确定”。
lookup.cache.max-rows 否 无 Integer 维表配置，缓存的最大行数，超过该值时，最先添加的数据将被标记为过期。 默认表示不使用该配置。 lookup.cache.ttl 否 无 Duration 维表配置，缓存超时时间，超过该时间的数据会被剔除。格式为：{length
lookup.cache.max-rows 否 无 Integer 维表配置，缓存的最大行数，超过该值时，最先添加的数据将被标记为过期。 默认表示不使用该配置。 lookup.cache.ttl 否 无 Duration 维表配置，缓存超时时间，超过该时间的数据会被剔除。格式为：{length
是否必选 说明 connector.type 是 connector类型，需配置为'gaussdb' connector.url 是 jdbc连接地址，格式为：jdbc:postgresql://${ip}:${port}/${dbName} 。DWS数据库版本为8.1.0以后的版本时，
该参数与'primary key'配合使用。 未配置'primary key'时，支持copy及insert两种模式追加写入。 配置'primary key'，支持copy、upsert以及insert三种模式更新写入。 注意：由于dws不支持更新分布列，因而配置的更新主键必须包含dws表中定义的所有分布列。
'时需配置，格式为: 'partition:0,offset:42;partition:1,offset:300'。 connector.startup-timestamp-millis 否 指定起始消费时间戳，'startup-mode'为'timestamp'时需配置。 connector
password”参数同时配置。 使用账号密码参数时，创建的云搜索服务集群必须开启安全模式并且关闭https。 connector.password 否 Elasticsearch所在集群的密码。该密码参数需和“connector.username”参数同时配置。 示例 create
该参数与'primary key'配合使用。 未配置'primary key'时，支持copy及insert两种模式追加写入。 配置'primary key'，支持copy、upsert以及insert三种模式更新写入。 注意：由于dws不支持更新分布列，因而配置的更新主键必须包含dws表中定义的所有分布列。
后缀匹配：.*[p$] 匹配后缀为p的表名，例如cdcp、edcp等。 特定匹配：txc 匹配具体的表名。 port 否 3306 Integer MySQL 数据库服务器的整数端口号。 server-id 否 无 String 读取数据使用的 server id，server id 可以是个整数或者一个整数范围，比如
BI工具连接DLI方案概述 配置DBeaver连接DLI进行数据查询和分析 配置DBT连接DLI进行数据调度和分析 配置YongHong BI连接DLI进行数据查询和分析 配置Superset连接DLI进行数据查询和分析 配置PowerBI通过Kyuubi连接DLI进行数据查询和分析 配置Fine
注意：只有当用户开启动态扩缩时，该配置才有意义。 flink.dli.job.cu.max 用户CU初始值 该配置表示当前作业在进行动态扩缩时允许使用的最大CU数，如果用户未配置则默认值为该作业的初始总CU数。 注意：该配置值不能小于用户配置的总CU数，且只有当用户开启动态扩缩时，该配置才有意义。 flink
分别存放了Spark-submit相关的执行脚本、配置文件和依赖包。 进入配置文件conf目录，修改“client.properties”中的配置项，（具体配置项参考表1）。 表1 DLI 客户端工具配置参数 属性项 必须配置 默认值 描述 dliEndPont 否 - DLI服务的域名。
Flink完成电商业务实时数据的分析处理。 配置DBeaver连接DLI进行数据查询和分析 介绍DBeaver连接DLI并提交SQL查询的操作步骤。 配置DBT连接DLI进行数据调度和分析 介绍使用DBT提交DLI作业的操作步骤。 配置YongHong BI连接DLI进行数据查询和分析
参数填写完成后，单击“立即购买”，在界面上确认当前配置是否正确。 单击“提交”完成弹性资源池的创建。 在弹性资源池的列表页，选择要操作的弹性资源池，单击操作列的“添加队列”。 配置队列的基础配置，具体参数信息如下。 表3 弹性资源池添加队列基础配置 参数名称 参数说明 配置样例 名称 弹性资源池添加的队列名称。
在作业代码中配置Checkpoint相关参数，适用于Flink 1.15及历史Flink版本。 在DLI管理控制台的Jar作业配置界面开启Checkpoint，适用于Flink 1.15及更高的引擎版本。 Flink 1.15版本请勿重复在作业代码和Jar作业配置界面配置Check
设置SQL作业优先级 在“ 设置 > 参数配置”中配置如下参数，其中x为优先级取值。 spark.sql.dli.job.priority=x 登录DLI管理控制台。 单击“作业管理 > SQL作业”。 选择待配置的作业，单击操作列下的编辑。 在“ 设置 > 参数配置”中配置spark.sql.dli
如果选择Spark版本为3.3.1时，支持在Spark参数（--conf)配置计算资源规格参数， 且conf的配置优先级高于高级配置指定的值。 参数对应关系请参考表5。 在Spark参数（--conf)配置计算资源规格参数时，可以配置单位 M/G/K，不配置时候默认单位为byte。 表5 控制台计算资源规
用户安全集群的新登录密码。 krb5_conf 否 String krb5配置文件obs路径。 keytab 否 String keytab配置文件obs路径。 truststore_location 否 String truststore配置文件obs路径。 truststore_password
参数填写完成后，单击“立即购买”，在界面上确认当前配置是否正确。 单击“提交”完成弹性资源池的创建。 在弹性资源池的列表页，选择要操作的弹性资源池，单击操作列的“添加队列”。 配置队列的基础配置，具体参数信息如下。 表3 弹性资源池添加队列基础配置 参数名称 参数说明 配置样例 名称 弹性资源池添加的队列名称。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
