检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OpenSource SQL作业,访问其他外部数据源时,需要先创建跨源连接,打通作业运行队列到外部数据源之间的网络。 当前Flink作业支持访问的外部数据源详情请参考DLI常用跨源分析开发方式。 创建跨源连接操作请参见配置DLI与数据源网络连通(增强型跨源连接)。 创建完跨源连接后,可以通过“资源管理
Strings 角色。目前只支持: obs_adm:DLI获得访问和使用OBS的委托权限。 dis_adm:访问和使用DIS数据源,需要获得访问和使用DIS(数据接入服务)DIS Administrator权限。 ctable_adm:访问和使用CloudTable(表格存储服务)的CloudTable
更短的时间间隔意味着文件被更快地发现,但也意味着更频繁地遍历文件系统/对象存储。 如果未设置此配置选项,则提供的路径仅被扫描一次,因此源将是有界的。 可用的Metadata 以下连接器 metadata 可以在表定义时作为 metadata 列进行访问。所有 metadata 都是只读的。 键 数据类型 描述
是否使用Hive jdbc方式连接Hive同步Hudi表信息。建议该值设置为false,设置为false后jdbc连接相关配置无效。 true index相关配置 表3 index相关参数配置 参数 描述 默认值 hoodie.index.class 用户自定义索引的全路径名,索引类
弹性资源池权限管理 针对不同用户,管理员可以通过权限设置赋予各用户不同的操作权限,控制各用户弹性资源池的操作范围。 注意事项 管理员用户和弹性资源池的所有者拥有所有权限,不需要进行权限设置且其他用户无法修改其队列权限。 给新用户设置弹性资源池权限时,该用户所在用户组的所属区域需具有Tenant
Management,简称IAM)进行精细的企业级多租户管理。该服务提供用户身份认证、权限分配、访问控制等功能,可以帮助您安全地控制华为云资源的访问。 通过IAM,您可以在华为云账号中给员工创建IAM用户,并使用策略来控制他们对华为云资源的访问范围。 目前包括角色(粗粒度授权)和策略(细粒度授权)。具体的权限
创建Hbase维表用于与输入流连接。 前提条件 该场景作业需要运行在DLI的独享队列上,因此要与HBase建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。
参数和示例代码。 前提条件 该场景作业需要建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 注意事项 创建Flink OpenSource
0.x。 该场景作业需要DLI与MySQL建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 Flink跨源开发场景中直接配
源所在的主机可以访问公网且防火墙规则已开放连接端口。 数据源为云上服务RDS、MRS时,网络互通需满足如下条件: i. CDM集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,数据源所在的主机可以访问公网且防火墙规则已开放连接端口。
String 企业项目ID,“0”表示default,即默认的企业项目。关于如何设置企业项目请参考《企业管理用户指南》。 说明: 开通了企业管理服务的用户可设置该参数绑定指定的项目。 platform 否 String 队列计算资源的cpu架构。 x86_64 aarch64 默认值为x86_64。
user_name 否 String 被赋权的用户名称,该用户将有权访问指定的数据库或数据表,被收回或者更新访问权限。 grant_project_id 否 String 被赋权的项目ID,数据赋权给其他项目后,该项目的管理员将有权访问指定的数据库或数据表。 action 是 String 指定赋权或回收。
优先级 当前弹性资源池中的优先级数字越大表示优先级越高。本例设置一条扩缩容策略,默认优先级为1。 1 时间段 首条扩缩容策略是默认策略,不能删除和修改时间段配置。 即设置00-24点的扩缩容策略。 00-24 最小CU 设置扩缩容策略支持的最小CU数。 16 最大CU 当前扩缩容策略支持的最大CU数。
费或冻结状态。 配置DLI委托访问授权 DLI使用过程中涉及到OBS、VPC、SMN等服务交互,首次使用DLI需要用户配置委托授权,允许访问这些依赖服务。 使用华为云账号登录DLI管理控制台,在左侧导航栏单击“全局配置 > 服务授权”。 在委托设置页面,勾选基础使用、跨源场景、运
创建Flink Jar作业,访问其他外部数据源时,如访问OpenTSDB、HBase、Kafka、DWS、RDS、CSS、CloudTable、DCS Redis、DDS等,需要先创建跨源连接,打通作业运行队列到外部数据源之间的网络。 当前Flink作业支持访问的外部数据源详情请参考DLI常用跨源分析开发方式。
该场景作业需要运行在DLI的独享队列上,因此要与Doris建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 如果使用MRS Doris,
Flink Jar 包冲突,导致作业提交失败 Flink Jar作业访问DWS启动异常,提示客户端连接数太多错误 Flink Jar作业运行报错,报错信息为Authentication failed Flink Jar作业设置backend为OBS,报错不支持OBS文件系统 Hadoop
在“购买队列”页面,参见表1设置相关参数。 表1 参数说明 参数名称 描述 计费模式 包年/包月 该计费模式的队列为专属队列。 按需计费:建议购买cu时套餐包享受优惠。 区域 选择所在的区域。不同区域的云服务之间内网互不相通;请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。 项目 每
队列名称。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 address 是 String 测试地址。格式为:IP地址或域名:访问端口。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 is_success 是 Boolean 请求执行是否成功。“true”表示请求执行成功。
该场景作业需要运行在DLI的独享队列上,因此要与Doris建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 如果使用MRS Doris,