检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
)。默认的扩缩容策略不支持时间段配置修改。 弹性资源池扩缩容策略生效规则为:在任意一个时间段周期内,优先满足所有队列的最小CU数。剩余的CU(弹性资源池最大CU-所有队列的最小CU数之和)则根据配置的优先级顺序分配: 如果队列的优先级不同,根据配置的优先级顺序分配,直到剩余的CU数分配完成。
请在DLI管理控制台的“全局配置 > 工程配置”中配置桶信息。当作业完成后,系统会自动将结果存储到这个默认桶中。 使用DLI作业桶读取查询结果,需具备以下条件: 在DLI管理控制台“全局配置 > 工程配置”中完成作业桶的配置。作业桶配置请参考配置DLI作业桶。 提交工单申请开启查询结果写入桶特性的白名单。
CDM集群与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则。 配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 iii. 此外,您还必须确保该云服务的实例与CDM集群所属的企业项目必须相
提交作业时提示作业桶权限不足怎么办? 问题描述 已经配置DLI作业桶,且完成Flink桶授权后在提交作业时仍然提示桶未授权怎么办? 根因分析 使用DLI作业桶需要确保已完成DLI作业桶的权限配置。 您需要在OBS管理控制台中检查DLI作业桶的桶策略,确保策略中包含了允许DLI服务进行必要操作的授权信息。
> ”SQL作业”跳转到SQL作业记录中检查。 在执行SQL的时候配置Hudi参数: DLI不支持直接使用SET语句配置参数 点击”设置”,随后在”参数设置”一栏可以配置键和值,Hudi的参数可以通过此处提交。配置在此处的参数会在提交SQL作业时被应用。 随后可以在左侧菜单点击”
其他可选参数保持默认即可,详细说明可参见配置MySQL源端参数。 目的端作业配置 目的连接名称:选择已创建的DLI连接“dlilink”。 模式或表空间:选择导入到DLI的哪个模式。 自动创表:这里选择“不存在时创建”,当下面“表名”参数中配置的表不存在时,CDM会自动在DLI中创建该表。
检查安全组网络(vpc)配置。 若按照步骤1重建跨源连接后还是报错“communication link failure”,则检查vpc配置。 经典型跨源: 入方向规则:检查本安全组内的入方向网段及端口是否已开放,若没有则添加。 检查网段及端口是否配置。 图2 检查网段及端口是否配置 如果不存在,则进行添加。
'source.monitor-interval'='' ); 参数说明 目录监控 默认情况下,文件系统连接器是有界的,也就是只会扫描配置路径一遍后就会停止。 如果需要,可以通过设置 source.monitor-interval 属性来开启目录监控,以便在新文件出现时继续扫描。
删除增强型跨源连接 操作场景 本节操作介绍在控制台删除不再使用的增强型跨源连接的操作步骤。 操作步骤 登录DLI管理控制台。 在左侧导航栏中,选择“跨源管理 > 增强型跨源 ”。 选择待删除的增强型跨源连接,单击操作列的“删除”。 单击“是”,删除增强型跨源连接。 父主题: 管理增强型跨源连接
增强型跨源连接权限管理 操作场景 增强型跨源支持项目级授权,授权后,项目内的用户具备该增强型跨源连接的操作权。可查看该增强型跨源连接、可将创建的弹性资源池与该增强型跨源连接绑定、可自定义路由等操作。以此实现增强型跨源连接的跨项目应用。本节操作介绍对增强型跨源连接授权或回收权限的操作步骤。
CTS可记录的DLI操作列表详见云审计服务支持的DLI操作列表说明。用户开通云审计服务并创建和配置追踪器后,CTS开始记录操作事件用于审计。关于如何开通云审计服务以及如何查看追踪事件,请参考《云审计服务快速入门》中的相关章节。 CTS支持配置关键操作通知。用户可将与IAM相关的高危敏感操作,作为关键操作加入
高,超过了5倍的压缩率,您可以通过调整配置来优化作业的性能。 具体方法:在submit-job请求体conf字段中配置“dli.sql.files.maxPartitionBytes=33554432”。 该配置项默认值为128MB,将其配置成32MB,可以减少单个任务读取的数据
删除增强型跨源连接的路由信息 操作场景 本节操作指导用户删除不再使用的路由信息。 约束限制 当自定义路由表被关联至子网时,则无法删除。 请先通过更换子网关联的路由表将子网关联到其他的路由表,然后尝试删除。 操作步骤 登录DLI管理控制台。 在左侧导航栏中,选择“跨源管理 > 增强型跨源
TABLES参数描述 参数 描述 IN db_name Database名称,仅当需要显示指定Database的所有Table时配置。 注意事项 IN db_Name为可选配置。 示例 SHOW TABLES IN hudidb; 权限需求 由DLI提供的元数据服务 SQL权限: database
TABLE所需权限列表 权限描述 表的ALTER权限 细粒度权限:dli:table:alter。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 ALTER TABLE table1 RENAME TO table2 系统响应 通过运行SHOW
SHOW_HOODIE_PROPERTIES 命令功能 查看指定hudi表的hoodie.properties文件中的配置。 命令格式 call show_hoodie_properties(table => '[table_name]'); 参数描述 表1 参数描述 参数 描述
urce表和Sink表,并指定它们的连接器类型以及相关的属性。 如果需要将数据写入到不同的Elasticsearch集群,您需要为每个集群配置不同的连接参数,并确保Flink作业能够正确地将数据路由到各个集群。 例如本例中分别对es1和es2定义连接器类型以及相关的属性。 在对应的Flink作业中添加如下SQL语句。
增强型跨源连接绑定弹性资源池 操作场景 如果其他弹性资源池想要通过已创建的增强型跨源连接来连接数据源,可以在增强型跨源连接页面绑定弹性资源池。本节的操作指导介绍增强型跨源连接绑定弹性资源池的操作指导。 约束限制 增强型跨源仅支持包年包月队列和按需专属的弹性资源池/队列。 绑定跨源的DLI队列网段和数据源网段不能重合。
检查该OBS桶是否被设置为了DLI日志桶。 在DLI管理控制台的“全局配置 > 作业配置” 页查看对应OBS桶是否被设置为了DLI日志桶,日志桶不能用于DLI的其他业务功能中。 确认桶是否应用于其他业务功能。 如果是,您可以在DLI管理控制台页面更改作业配置,选择其他未被占用的OBS桶用于DLI日志存储。
增强型跨源连接与弹性资源池解绑 操作场景 当弹性资源池不需要使用增强型跨源连接访问数据源时,可将增强型跨源连接与弹性资源池解绑。 约束限制 增强型跨源绑定弹性资源池所创建的对等连接状态为“已失败”时,不支持解绑该弹性资源池。 操作步骤 登录DLI管理控制台。 在左侧导航栏中,选择“跨源管理