检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"obs://bucket/path/h1"; 注意事项 对表执行clean操作时需要表的owner才可以执行。 如果需要修改clean默认的参数,需要在执行SQL时,在设置中配置需要保留的commit数量等参数,参见Hudi常见配置参数。 使用由DLI提供的元数据服务时,本命令不支持使用OBS路径。 系统响应
在DLI管理控制台左侧,选择“资源管理 > 队列管理”。 选择需要扩容的队列,单击“操作”列“更多”中的“规格变更”。 在“规格变更”页面,“变更方式”选择“扩容”,设置扩容的CU值。 图1 扩容 确定费用后,单击“提交”。 缩容 当计算业务较小,不需要那么大的队列规格时,可以通过手动变更队列规格来缩容当前队列。
false Boolean 是否禁止对引用的值使用引号 (默认是 false). 如果禁止,选项 'csv.quote-character' 不能设置。 csv.quote-character 否 ‘’ String 用于围住字段值的引号字符 (默认"). csv.allow-comments
partition_clause 否 指定分区。分区列的值相同的行被视为在同一个窗口内。 orderby_clause 否 指定数据在一个窗口内如何排序。 返回值说明 返回DOUBLE类型的值。 示例代码 示例数据 为便于理解函数的使用方法,本文为您提供源数据,基于源数据提供函数相关示
在管理控制台左侧,单击“数据管理”>“程序包管理”。 在“程序包管理”页面,单击右上角“创建”可创建程序包。 在“创建程序包”对话框,参见表1设置相关参数。 图1 创建程序包 表1 参数说明 参数名称 描述 包类型 支持的包类型如下: JAR:用户jar文件 PyFile:用户Python文件
账号在创建跨源连接访问外部数据时因为权限不足而导致跨源访问失败。 解决方案 登录DLI管理控制台,选择“全局配置 > 服务授权”。 在委托设置页面,按需选择所需的委托权限。 其中“DLI Datasource Connections Agency Access”是跨源场景访问和使用VPC、子网、路由、对等连接的权限。
则该行数据将被设置为null。 DROPMALFORMED:选择DROPMALFORMED模式时,如果某一列数据类型与目标表列数据类型不匹配,则不导入该行数据。 FAILFAST:选择FAILFAST模式时,如果某一列类型不匹配,则会抛出异常,导入失败。 模式设置可通过在OPTIONS中添加
得到错误的结果或意外的异常。因此,在这种情况下,建议将作业配置table.exec.source.cdc-events-duplicate设置为true,并在源表上定义PRIMARY KEY。Framework将生成一个额外的有状态操作符,并使用主键对变更事件进行去重,并生成一个规范化的changelog流。
在“集群管理”页面中,单击对应的集群名称,进入“基本信息”页面。 单击“安全模式”后的下载证书,下载CSS安全集群的证书。 将认证凭证上传到OBS桶。 关于如何创建OBS桶并上传数据,请参考《对象存储服务快速入门》。 创建跨源认证。 登录DLI管理控制台。 选择“跨源管理 > 跨源认证”。 单击“创建”。
partition_clause 否 指定分区。分区列的值相同的行被视为在同一个窗口内。 orderby_clause 否 指定数据在一个窗口内如何排序。 返回值说明 返回INT类型的值。 a为NULL,则返回NULL。 示例代码 为便于理解函数的使用方法,本文为您提供源数据,基于源数
project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 queue_name 是 String 需要设置定时扩缩计划的队列名称,名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。名称长度为1~128个字符。 请求消息 表2
TUMBLE窗口结束之前,可以根据设置的触发频率周期性地触发窗口,输出从窗口开始时间到当前周期时间窗口内的计算结果值,但不影响最终窗口输出值,从而在窗口结束前的每个周期都可以看到最新的结果。 提高数据的精确性 在窗口结束后,允许设置延迟时间。根据设置的延迟时间,每到达一个迟到数据,则更新窗口的输出结果
partition_clause 否 指定分区。分区列的值相同的行被视为在同一个窗口内。 orderby_clause 否 指定数据在一个窗口内如何排序。 返回值说明 返回DOUBLE类型的值。 a为NULL,则返回NULL。 示例代码 为便于理解函数的使用方法,本文为您提供源数据,基
1.15升级指导。 切换至新版本计算引擎对DLI资源价格是否有影响? DLI按作业运行所需的计算资源和存储资源计费,与计算引擎版本无关。 如何升级到Flink 1.15版本? 在DLI管理控制台,购买弹性资源池和队列资源,用于提供执行作业所需的计算资源。 在DLI管理控制台,单击“作业管理
1.12升级指导。 切换至新版本计算引擎对DLI资源价格是否有影响? DLI按作业运行所需的计算资源和存储资源计费,与计算引擎版本无关。 如何升级到Flink 1.12版本? 在DLI管理控制台,购买弹性资源池和队列资源,用于提供执行作业所需的计算资源。 在DLI管理控制台,单击“作业管理
Administrator权限。 客户未给VPC服务授权导致DLI跨源连接报错找不到子网。 处理步骤 登录DLI管理控制台,选择“全局配置 > 服务授权”。 在委托设置页面,按需选择所需的委托权限。 其中“DLI Datasource Connections Agency Access”是跨源场景访问和使用VPC、子网、路由、对等连接的权限。
如您的组织已经设定DLI的相关标签策略,则需按照标签策略规则为资源添加标签。标签如果不符合标签策略的规则,则可能会导致资源创建失败,请联系组织管理员了解标签策略详情。 以下介绍如何为队列添加标签、修改标签和删除标签。 在DLI管理控制台的左侧导航栏中,单击“资源管理 > 队列管理”。 在对应队列的“操作”列,选择“更多”>“标签”。
创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 语法格式 1 2 3 4 5 6 7 8 9 create table printSink
drop column后如果查询失败,需要设置Session属性: set session hive.orc_use_column_names=true; 对于parquet格式存储的非分区表,drop column后如果查询失败,需要设置Session属性: set session
和文件内容与表的字段一致,否则查询将报错。 示例 将student表的分区dt='2008-08-08',city='xxx'的OBS路径设置为“obs://bucketName/fileName/student/dt=2008-08-08/city=xxx”。 1 2 3 ALTER