检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
应的Kafka名称，进入到Kafka的基本信息页面。 在“连接信息”中获取该Kafka的“内网连接地址”，在“基本信息”的“网络”中获取该实例的“虚拟私有云”和“子网”信息，方便后续操作步骤使用。 单击“网络”中的安全组名称，在“入方向规则”中添加放通队列网段的规则。 例如，本示例队列网段为“10
对应用户的访问密钥。该用户需要有Spark作业相关权限，权限说明详见权限管理。 密钥获取方式请参考获取AK/SK。 spark.dli.user.secret.key spark.dli.user.projectId 参考获取项目ID获取项目ID。 以下参数为可选参数，请根据参数说明和实际情况配置。详细参数说明请参考Spark
如果目标数据源为云下的数据库，则需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 数据源为云上的DWS、MRS等服务时，网络互通需满足如下条件： i. CDM集群与
DLI已对接云监控服务，提供基于云监控服务的资源监控能力，帮助用户监控账号下的DLI队列，执行自动实时监控、告警和通知操作。用户可以实时掌握队列中的运行作业网络流入速率、网络流出速率、CPU使用率、内存使用率、磁盘利用率、失败作业率、等待作业数等信息。还可以通过云监控服务提供的管理控制台或API接口来检索
指定要使用的DEW服务所在的endpoint信息。 获取地区和终端节点。 配置示例：'dew.endpoint'='kms.cn-xxxx.myhuaweicloud.com' dew.projectId 否 有 String DEW所在的项目ID， 默认是Flink作业所在的项目ID。 获取项目ID dew.csms
增强型跨源连接类 增强型跨源连接绑定队列失败怎么办？ DLI增强型跨源连接DWS失败怎么办？ 创建跨源成功但测试网络连通性失败怎么办？ 怎样配置DLI队列与数据源的网络连通？ 为什么DLI增强型跨源连接要创建对等连接？ DLI创建跨源连接，绑定队列一直在创建中怎么办？ 新建跨源连
勿删除系统默认创建的dli_management_agency委托，否则会导致委托包含的权限自动取消，系统将无法正常获取IAM用户相关信息、或影响访问跨源所需的网络资源、无法访问SMN服务发送通知消息。 约束限制 服务授权需要主账号或者用户组admin中的子账号进行操作。 DLI
参数说明 表1 URI参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 表2 query参数 参数名称 是否必选 参数类型 说明 limit 否 String 查询最大连接个数，默认为100。
系统的对象列表中；同时您也可以将文件或文件夹拖拽到指定的目录上，这样可以上传到指定的目录中。 单击Best_Practice_01.zip获取本示例的测试数据，将“Best_Practice_01.zip”压缩包解压。后续操作说明如下： 详单数据：将解压后Data目录下的“det
在增强型跨源界面，在对应跨源连接所在行的“操作”列，单击“更多 > 绑定弹性资源池”进行绑定。 虚拟私有云：选择5中获取的RDS的虚拟私有云。 子网：选择5中获取的RDS的子网。 其他参数可以根据需要选择配置。 参数配置完成后，单击“确定”完成增强型跨源配置。单击创建的跨源连接名
增强型跨源创建后状态为“已激活”，但不能说明队列和数据源已连通。建议前往队列管理页面测试数据源网络是否打通。操作步骤如下： 在队列管理页面选择队列。 单击“操作”列中的“更多 > 测试地址连通性”。 输入数据源的“IP:端口”测试网络连通性。 在增强型跨源连接的详情页可以查看对等连接的相关信息。 对等连
述。 常见新建委托场景：允许DLI读写OBS数据、日志转储、Flink checkopoint；允许DLI在访问DEW获取数据访问凭证、允许访问Catalog获取元数据等场景。以上场景的委托权限请参考常见场景的委托权限策略。 步骤1：在IAM控制台创建云服务委托并授权 登录管理控制台。
Jar 使用DEW获取访问凭证读写OBS 访问OBS的AKSK为例介绍Flink Jar使用DEW获取访问凭证读写OBS的操作指导。 用户获取Flink作业委托临时凭证 DLI提供了一个通用接口，可用于获取用户在启动Flink作业时设置的委托的临时凭证。该接口将获取到的该作业委托的临时凭证封装到com
Redis、DDS等，需要先创建跨源连接，打通作业运行队列到外部数据源之间的网络。 当前Flink作业支持访问的外部数据源详情请参考DLI常用跨源分析开发方式。 创建跨源连接操作请参见配置DLI与数据源网络连通（增强型跨源连接）。 创建完跨源连接后，可以通过“资源管理 > 队列管理
n文件”处选择已上传的egg程序包，重新运行Spark作业。 pyspark作业对接MySQL，需要创建跨源链接，打通DLI和RDS之间的网络。 通过管理控制台创建跨源连接请参考《数据湖探索用户指南》。 通过API创建跨源连接请参考《数据湖探索API参考》。 父主题： Spark作业开发类
URI格式：POST /v3/{project_id}/elastic-resource-pools {project_id}信息请从获取项目ID获取。 请求参数说明详情，请参见创建弹性资源池。 请求示例 描述：在项目ID为48cc2c48765f481480c7db940d640
系统的对象列表中；同时您也可以将文件或文件夹拖拽到指定的目录上，这样可以上传到指定的目录中。 单击Best_Practice_04.zip获取本示例的测试数据，解压“Best_Practice_04.zip”压缩包，解压后将data文件夹上传到OBS桶根目录下。测试数据目录说明如下：
URI格式：POST /v3/{project_id}/elastic-resource-pools {project_id}信息请从获取项目ID获取。 请求参数说明详情，请参见创建弹性资源池。 请求示例 描述：在项目ID为48cc2c48765f481480c7db940d640
公共参数 状态码 错误码 获取项目ID 获取账号ID
集群相关API（废弃） 创建集群（废弃） 删除集群（废弃） 获取指定集群信息（废弃） 获取全部集群信息（废弃） 父主题： 历史API
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
