检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
普通队列弹性扩缩容 前提条件 新创建的按需计费队列需要运行作业后才可进行弹性扩缩容。 本节操作仅适用于普通队列,不适用于弹性资源池队列。 约束与限制 16CUs队列不支持扩容和缩容。 64CUs队列不支持缩容。 目前只支持计费模式为“按需/CU时”和“按需/专属资源模式”的队列进行弹性扩缩容。
JDBC维表 创建JDBC表用于与输入流连接。 前提条件 请务必确保您的账户下已创建了相应实例。 注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。
在DLI控制台预览表数据 “预览页面”将显示对应表的前10条数据。 预览数据步骤 预览数据的入口有两个,分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面预览数据。 在管理控制台左侧,单击“数据管理”>“库表管理”。 单击需导出数据对应数据库名称,进入该数据库“表管理”页面。
FileSystem结果表 功能描述 FileSystem sink用于将数据输出到分布式文件系统HDFS或者对象存储服务OBS等文件系统。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。 考虑到输入流可以是无界的,每个桶中的数据被组织成有限大小的Part文件。完
将OBS数据导入至DLI 本节操作介绍将OBS上的数据导入到DLI控制台的表中。 注意事项 导入数据时只能指定一个路径,路径中不能包含逗号。 如果将CSV格式数据导入分区表,需在数据源中将分区列放在最后一列。 不建议对同一张表并发导入数据,因为有一定概率发生并发冲突,导致导入失败。
源CUs数?。 怎样查看作业所需的资源CUs数? SQL作业: 请通过云监控服务提供的监控面板查看运行中的作业数和提交中的作业数,并根据作业数量判断SQL作业整体的资源占用情况。 Flink 作业: 登录DLI管理管理控制台。 选择“作业管理 > Flink作业”。 单击作业名称进入作业详情页面。
弹性资源池规格变更 使用场景 包年包月的弹性资源池CU数在规格(包周期CU)的范围内使用包年包月计费,超过规格(包周期CU)的部分则按弹性资源池CU时计费的方式计费,您可以根据实际CU的使用情况通过规格变更来使得计费更优惠。 例如,当前弹性资源池的规格(包周期CU)为64CU,实
在DLI控制台删除表 根据实际使用情况,您可以通过删除表。 注意事项 具有正在运行中的作业的数据库或者表不能删除。 管理员用户、表的所有者和具有删除表权限的用户可以删除表。 数据表删除后,将不可恢复,请谨慎操作。 删除表 删除表的入口有两个,分别在“数据管理”和“SQL编辑器”页面。
怎样获取DLI作业样例(Demo) 为了方便用户更好地使用DLI,DLI服务提供了供作业开发的Demo样例,您可以通过DLI样例代码获取。 该样例代码的目录内容介绍如下: dli-flink-demo:开发Flink作业时的样例代码参考。例如,样例代码实现读取Kafka源表数据写
弹性资源池CU设置 CU设置主要是为了控制弹性资源池扩缩容的最大最小CU范围,避免无限制的资源扩容风险。 例如,当前弹性资源池CU设置的最大CU为256CU,并且该弹性资源池添加了2个队列,2个队列扩缩容策略最小CU数为64CU,这时如果该弹性资源池再添加一个队列并且该队列最小C
单击需要修改的表对应数据库名,进入该数据库的“表管理”页面。 单击目标表“操作”栏中的“更多”>“修改所有者”。 在弹出的对话框中,输入新的所有者用户名(已存在的用户名),单击“确定”。 父主题: 在DLI控制台管理表资源
DLI JDBC Driver支持的API列表 DLI JDBC Driver支持JDBC标准的众多API,也有部分API不支持用户调用,例如涉及事务调用的API“prepareCall”,调用这类API将抛出“SQLFeatureNotSupportedException”异常
limit配置来设置最小文件大小。用户可以将该配置设置为“0”,以强制新数据写入新的文件组,或设置为更高的值以确保新数据被“填充”到现有小的文件组中,直到达到指定大小为止,但其会增加摄取延迟。 为能够支持快速摄取的同时不影响查询性能,引入了Clustering服务来重写数据以优化Hudi数据湖文件的布局。
Flink Jar 包冲突,导致作业提交失败 问题描述 用户Flink程序的依赖包与DLI Flink平台的内置依赖包冲突,导致提交失败。 解决方案 首先您需要排除是否有冲突的Jar包。 含DLI Flink提供了一系列预装在DLI服务中的依赖包,用于支持各种数据处理和分析任务。 如果您上传的Jar包中包含DLI
as hh; 权限需求 由DLI提供的元数据服务 SQL权限: database table 无 INSERT_INTO_TABLE 细粒度权限:dli:table:insertIntoTable 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。
怎样查看套餐包资源的使用情况? 购买套餐包后,随着套餐包的使用您可以随时查看套餐包使用情况,了解套餐包详情。 操作步骤 登录华为云费用中心。 选择“资源包”。在“资源包列表”页签中单击目标资源包名称/ID,查看套餐包的详细信息。 图1 查看套餐包资源使用情况 父主题: 计费相关问题
LakeFormation资源权限支持列表与策略项 LakeFormation SQL资源权限支持列表 DLI支持SQL资源鉴权的操作列表请参考数据权限列表。 LakeFormation SQL资源权限支持列表请参考表1。 表1 LakeFormation SQL资源权限支持列表
在DLI控制台删除数据库 根据实际使用情况,您可以通过删除数据库。 注意事项 具有正在运行中的作业的数据库或者表不能删除。 管理员用户、数据库的所有者和具有删除数据库权限的用户可以删除数据库。 数据库和表删除后,将不可恢复,请谨慎操作。 删除数据库 在管理控制台左侧,单击“数据管理”>“库表管理”。
弹性资源池关联队列 操作场景 参考创建弹性资源池并添加队列创建完弹性资源池后,您可以将已有的队列关联至弹性资源池,即可将弹性资源池的资源用于后续作业的运行 您可以在弹性资源池页面通过“关联队列”将队列添加到弹性资源池。还可以在队列管理页面分配队列至弹性资源池。 弹性资源池Flink版本只支持1
se中创建一个新的角色。 只有在database上具有CREATE_ROLE权限的用户才能创建角色。例如:管理员用户、database的owner用户和被赋予了CREATE_ROLE权限的其他用户。 每个角色必须属于且只能属于一个database。 语法格式 1 CREATE ROLE