检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在DEW创建通用凭据 本例以配置RDS实例访问凭据为例,介绍在DEW保存凭据,并在DLI作业中的配置示例。 登录DEW管理控制台 选择“凭据管理”,进入“凭据管理”页面。 单击“创建凭据”,配置凭据基本信息 凭据名称:待创建凭据的名称。本例名称为secretInfo。 凭据值:配置RDS实例的用户名和密码。
pwd_auth_name 否 String 创建源表、结果表、维表时均使用该字段关联跨源认证。 通过配置pwd_auth_name字段写入创建的Password类型的跨源认证名称。如果配置该参数则不需要在SQL中配置数据源的账号密码。 具体的建表操作指导请参考DLI 语法参考。 Flink OpenSource
修改弹性资源池的主机信息 操作场景 主机信息用于配置主机的IP与域名的映射关系,在作业配置时只需使用配置的域名即可访问对应的主机。在跨源连接创建完成后,支持修改主机信息。 常见的访问MRS的HBase集群时需要配置实例的主机名(即域名)与主机对应的IP地址。 约束限制 已获取MR
跨源认证即可安全访问数据源。 例如在使用Spark SQL来创建访问CSS的表时使用es.certificate.name字段配置跨源认证信息名称,配置连接安全CSS集群。 创建完跨源认证,可以参考创建DLI表关联CSS使用Spark SQL来创建访问CSS的表。 父主题: 使用DLI的跨源认证管理数据源访问凭证
创建Kerberos跨源认证 操作场景 通过在DLI控制台创建的Kerberos类型的跨源认证,将数据源的认证信息存储到DLI,无需在SQL作业中配置账号密码,安全访问数据源。 MRS Kafka开启Kerberos认证,未开启SSL认证时,创建Kerberos类型的认证。建表时通过krb_auth_name关联跨源认证。
创建的Kafka_SSL类型的跨源认证名称。Kafka配置SSL时使用该配置。 如果仅使用SSL类型,则需要同时配置以下参数: 'properties.security.protocol '= 'SSL'; 如果使用SASL_SSL类型,则需要同时配置以下参数: 'properties.security
跨源认证权限管理 操作场景 通过跨源认证的用户授权,可设置分配不同的跨源认证,且不同用户的作业不影响跨源认证的使用。 使用须知 管理员用户和跨源认证的所有者拥有所有权限,不需要进行权限设置且其他用户无法修改其跨源认证权限。 给新用户设置跨源认证权限时,该用户所在用户组具有Tenant
全、密钥安全、密钥管理复杂等问题。具体操作请参考使用DEW管理数据源访问凭证。 跨源认证用于管理访问指定数据源的认证信息。配置跨源认证后,无需在作业中重复配置数据源认证信息,提高数据源认证的安全性,便于DLI安全访问数据源。 SQL作业、Flink 1.12版本的跨源访问场景,使
用户不需要管理任何服务器,即开即用。 DLI支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。
仅在使用CSS类型的跨源认证时配置该参数。 es_auth_name和pwd_auth_name只能配置一个。 es_auth_name 否 无 String CSS类型的跨源认证的名称。 仅在使用CSS类型的跨源认证时配置该参数。 es_auth_name和pwd_auth_name只能配置一个。 示例
进入标签管理页面,显示当前连接的标签信息。 单击“添加/编辑标签”,弹出“添加/编辑标签”对话框,配置参数。标签键和标签值设置完成后,单击“添加”,将标签加入到输入框中。 图1 添加标签 表1 标签配置参数 参数 参数说明 标签键 您可以选择: 在输入框的下拉列表中选择预定义标签键。 如果
添加增强型跨源连接的路由信息 操作场景 路由即路由规则,在路由中通过配置目的地址、下一跳类型、下一跳地址等信息,来决定网络流量的走向。路由分为系统路由和自定义路由。 增强型跨源连接创建后,子网会自动关联系统默认路由。除了系统默认路由,您可以根据需要添加自定义路由规则,将指向目的地址的流量转发到指定的下一跳地址。
删除增强型跨源连接 操作场景 本节操作介绍在控制台删除不再使用的增强型跨源连接的操作步骤。 操作步骤 登录DLI管理控制台。 在左侧导航栏中,选择“跨源管理 > 增强型跨源 ”。 选择待删除的增强型跨源连接,单击操作列的“删除”。 单击“是”,删除增强型跨源连接。 父主题: 管理增强型跨源连接
如果未开启安全模式,语法中hosts字段值以http开头。 如果开启安全模式,未开启https,需要配置用户名username、密码password,且语法中hosts字段值以http开头。 如果开启安全模式,开启https,需要配置用户名username、密码password、证书位置certificat
击“下一步”。 配置同名作业策略。单击“下一步”。 勾选“配置同名替换”,如果待导入的作业名已存在,则覆盖已存在的作业配置,并且作业状态重置为草稿。 不勾选“配置同名替换”,如果待导入的作业名已存在,则不导入同名作业的配置。 确认“配置文件”和“同名作业策略”配置无误。单击“确认导入”,完成导入作业。
password”参数同时配置。 使用账号密码参数时,创建的云搜索服务集群必须开启安全模式并且关闭https。 connector.password 否 Elasticsearch所在集群的密码。该密码参数需和“connector.username”参数同时配置。 示例 create
增强型跨源连接权限管理 操作场景 增强型跨源支持项目级授权,授权后,项目内的用户具备该增强型跨源连接的操作权。可查看该增强型跨源连接、可将创建的弹性资源池与该增强型跨源连接绑定、可自定义路由等操作。以此实现增强型跨源连接的跨项目应用。本节操作介绍对增强型跨源连接授权或回收权限的操作步骤。
是否支持IPv6:如果创建增强型跨源连接时您选择的子网是开启IPv6的,则您创建的增强型跨源连接也是支持IPv6的。 主机信息:访问MRS的HBase集群时需要配置实例的主机名(即域名)与主机对应的IP地址。详细信息请参考修改弹性资源池的主机信息。 父主题: 管理增强型跨源连接
删除增强型跨源连接的路由信息 操作场景 本节操作指导用户删除不再使用的路由信息。 约束限制 当自定义路由表被关联至子网时,则无法删除。 请先通过更换子网关联的路由表将子网关联到其他的路由表,然后尝试删除。 操作步骤 登录DLI管理控制台。 在左侧导航栏中,选择“跨源管理 > 增强型跨源
高,超过了5倍的压缩率,您可以通过调整配置来优化作业的性能。 具体方法:在submit-job请求体conf字段中配置“dli.sql.files.maxPartitionBytes=33554432”。 该配置项默认值为128MB,将其配置成32MB,可以减少单个任务读取的数据