正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置DLI与数据源网络连通(增强型跨源连接) 增强型跨源连接概述 创建增强型跨源连接 建立DLI与共享VPC中资源的网络连接 增强型跨源连接权限管理 增强型跨源连接绑定弹性资源池 增强型跨源连接与弹性资源池解绑 添加增强型跨源连接的路由信息 删除增强型跨源连接的路由信息 修改弹性资源池的主机信息
Spark SQL常用配置项说明 本章节为您介绍DLI 批作业SQL语法的常用配置项。 表1 常用配置项 名称 默认值 描述 spark.sql.files.maxRecordsPerFile 0 要写入单个文件的最大记录数。如果该值为零或为负,则没有限制。 spark.sql.shuffle
用户在跨源连接中没有添加集群主机信息,导致KRB认证失败,故连接超时,日志也未打印错误。建议配置主机信息后重试。 在“增强型跨源”页面,单击该连接“操作”列中的“修改主机信息”,在弹出的对话框中,填写主机信息。格式为:“IP 主机名/域名”,多条信息之间以换行分隔。 MRS主机信息获取,详细请参考《数据湖
存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放, 使用时解密, 确保安全。 本示例以ak和sk保存在环境变量中为例,运行本示例前请先在本地环境中设置环境变量xxx_SDK_AK和xxx_SDK_SK。 regionName :所属区域名称 projectId :项目ID
存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放, 使用时解密, 确保安全。 本示例以ak和sk保存在环境变量中为例,运行本示例前请先在本地环境中设置环境变量xxx_SDK_AK和xxx_SDK_SK。 regionName :所属区域名称 projectId :项目ID
进入标签管理页面,显示当前连接的标签信息。 单击“添加/编辑标签”,弹出“添加/编辑标签”对话框,配置参数。标签键和标签值设置完成后,单击“添加”,将标签加入到输入框中。 图1 添加标签 表1 标签配置参数 参数 参数说明 标签键 您可以选择: 在输入框的下拉列表中选择预定义标签键。 如果
在左侧导航栏中,选择“跨源管理 > 增强型跨源 ”。 选择待删除的增强型跨源连接,单击操作列的“删除”。 单击“是”,删除增强型跨源连接。 父主题: 配置DLI与数据源网络连通(增强型跨源连接)
单击“确定”,授予该项目弹性资源池的操作权限。 回收权限: 在权限管理页面,权限设置选择“回收”。 输入项目ID。 单击“确定”,回收指定项目的弹性资源池操作权。 父主题: 配置DLI与数据源网络连通(增强型跨源连接)
OBS授权 前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 样例代码 用户可以使用OBS授权操作的接口,将OBS桶的操作权限授权给DLI, 用于保存用户作业的数据和作业的运行日志等。 示例代码如下: 1
创建RDS关联表 插入数据 查询数据 scala样例代码 pyspark样例代码 java样例代码 Postgres CDC源表 - 父主题: 配置DLI与数据源网络连通(增强型跨源连接)
单击“确定”。 方法二: 选择待删除的增强型跨源连接,单击操作列的“更多 > 删除路由”。 选择待删除的路由信息, 单击“是”。 父主题: 配置DLI与数据源网络连通(增强型跨源连接)
添加增强型跨源连接的路由信息 操作场景 路由即路由规则,在路由中通过配置目的地址、下一跳类型、下一跳地址等信息,来决定网络流量的走向。路由分为系统路由和自定义路由。 增强型跨源连接创建后,子网会自动关联系统默认路由。除了系统默认路由,您可以根据需要添加自定义路由规则,将指向目的地址的流量转发到指定的下一跳地址。
配置DLI读写外部数据源数据 配置DLI读写外部数据源数据的操作流程 配置DLI与数据源网络连通(增强型跨源连接) 使用DEW管理数据源访问凭证 使用DLI的跨源认证管理数据源访问凭证
资源,并使用DLI访问资源。 前提条件 账号A已配置DLI云服务委托,且委托需包含DLI Datasource Connections Agency Access,具备访问和使用VPC、子网、路由、对等连接的权限。详细操作请参考配置DLI云服务委托权限。 作为资源所有者的账号A已
批作业SQL常用配置项说明 本章节为您介绍DLI 批作业SQL语法的常用配置项。 表1 常用配置项 名称 默认值 描述 spark.sql.files.maxRecordsPerFile 0 要写入单个文件的最大记录数。如果该值为零或为负,则没有限制。 spark.sql.shuffle
跨源连接的状态信息,包括以下三种状态:创建中、已激活、已失败。 当连接状态显示为“已失败”时,单击左边对应的,可查看详细的错误信息。 图1 查看增强型跨源连接详情 父主题: 配置DLI与数据源网络连通(增强型跨源连接)
配置DLI访问其他云服务的委托权限 DLI委托概述 创建DLI自定义委托权限 常见场景的委托权限策略 DLI委托权限配置场景开发指南
Kafka Sink配置发送失败重试机制 问题描述 用户执行Flink Opensource SQL, 采用Flink 1.10版本。Flink Sink写Kafka报错后作业失败: Caused by: org.apache.kafka.common.errors.NetworkException:
进入连接”。 选择待解绑的弹性资源池,单击操作列“解绑弹性资源池”。 单击“是”,解除弹性资源池与增强型跨源连接的绑定关系。 父主题: 配置DLI与数据源网络连通(增强型跨源连接)
在DLI控制台配置表权限 表权限操作场景 针对不同用户,可以通过权限设置分配不同的表权限。 管理员用户和表的所有者拥有所有权限,不需要进行权限设置且其他用户无法修改其表权限。 给新用户设置表权限时,该用户所在用户组的所属区域需具有Tenant Guest权限。关于Tenant G