检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
故障恢复 系统级故障恢复 DLI系统采用存算分离的架构,计算集群基于K8s资源调度和故障切换机制,在系统故障时,支持自动故障恢复。 作业级故障恢复 Flink、Spark作业支持配置自动重启恢复机制,在开启自动重启功能后,当作业出现异常时将自动重启恢复作业。 父主题: 安全
provided</scope>。 Flink源代码中只有明确标注了@Public或者@PublicEvolving的才是公开供用户调用的方法,DLI只对这些方法的兼容性做出产品保证。 父主题: 版本支持公告
Format概述 Flink 提供了一套与表连接器(table connector)一起使用的表格式(table format)。 表格式是一种存储格式,定义了如何把二进制数据映射到表的列上。 表1 Flink支持格式 Formats 支持的Connectors CSV Kafka,
一组有序字段,使用指定的值构造ARRAY数组。可以为任意类型,要求所有字段的数据类型必须相同。 array(<value>,<value>[, ...]) 具体使用示例详见:ARRAY示例。 MAP 一组无序的键/值对,使用给定的Key和Value对生成MAP。键的类型必须是原生数据
在控制台顶部菜单栏中选择“资源 > 我的资源”。 进入我的资源页面。 在搜索条件中选择按名称搜索,并输入1.c获取的实例名称,单击图标搜索资源信息。 图1 按名称搜索资源 复制资源ID。 图2 复制实例ID 根据上报账单的资源ID在费用中心查看资源账单。 在控制台顶部菜单栏中选择“费用与成本
table_name Database中的表名,由字母、数字和下划线(_)组成。 columnTypeList 以逗号分隔的带数据类型的列表。列名由字母、数字和下划线(_)组成。 using 参数hudi,定义和创建Hudi table。 table_comment 表的描述信息。 location_path
RENAME TABLE 功能开启 配置参数: hoodie.schema.evolution.enable=true 命令功能 ALTER TABLE ... RENAME语法用于修改表名。 命令语法 ALTER TABLE tableName RENAME TO newTableName
KEY 主键用作 Flink 优化的一种提示信息。主键限制表明一张表或视图的某个(些)列是唯一的并且不包含 Null 值。 主键声明的列都是非 nullable 的。因此主键可以被用作表行级别的唯一标识。 主键可以和列的定义一起声明,也可以独立声明为表的限制属性,不管是哪种方式,主键都不可以重复定义,否则
(不使用Catalog的场景): 这里的sink表通过创建临时表指向Hudi表路径来写入数据,同时在表参数中配置hive_sync相关参数,实时同步元数据至由DLI提供的元数据服务。(具体参数详见Flink参数一节) 请将作业中sink表的path参数修改为希望保存hudi表的obs路径。
KEY 主键用作 Flink 优化的一种提示信息。主键限制表明一张表或视图的某个(些)列是唯一的并且不包含 Null 值。 主键声明的列都是非 nullable 的。因此主键可以被用作表行级别的唯一标识。 主键可以和列的定义一起声明,也可以独立声明为表的限制属性,不管是哪种方式,主键都不可以重复定义,否则
查看弹性资源池扩缩容历史 操作场景 当弹性资源池添加队列、删除队列,或添加的队列扩缩容时,可能会引起弹性资源CUs扩缩容变化。控制台提供的“扩缩容历史”功能,可以查看弹性资源池的CUs变化历史。 约束与限制 当前控制台仅支持查看30天以内的弹性资源池扩缩容历史。 查看弹性资源池扩缩容历史 在DLI管理控制台左侧,选择“资源管理
“default”的数据库。 示例 完整的SQL作业提交流程您可以参考《快速入门》中的《提交SQL作业》等章节描述。 队列是使用DLI服务的基础,执行SQL前需要先创建队列。具体可以参考《用户指南》中的“创建队列”章节。 在DLI管理控制台,单击左侧导航栏中的“SQL编辑器”,可进入SQL作业“SQL编辑器”页面。
DWS的更多信息,请参见《数据仓库服务管理指南》。 DLI Flink 1.15版本支持两种DWS Connector方式用于接入GaussDB数据: (推荐使用)DWS服务自研的DWS Connector:更关注于直接与DWS的性能与交互,用户能够更加灵活便捷的与DWS进行数据的读写操作。
用户通过CTAS创建hive表报schema解析异常错误 目前DLI支持hive语法创建TEXTFILE、SEQUENCEFILE、RCFILE、ORC、AVRO、PARQUET文件类型的表。 如果用户CTAS建表指定的文件格式为AVRO类型,而且直接使用数字作为查询语句(SELECT)的输入,如“CREATE
在DLI控制台删除表 根据实际使用情况,您可以通过删除表。 注意事项 具有正在运行中的作业的数据库或者表不能删除。 管理员用户、表的所有者和具有删除表权限的用户可以删除表。 数据表删除后,将不可恢复,请谨慎操作。 删除表 删除表的入口有两个,分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面删除表。
table_name 表名称。 partition_specs 分区字段。 obs_path OBS存储路径。 注意事项 向表中添加分区时,此表和分区列(建表时PARTITIONED BY指定的列)必须已存在,而所要添加的分区不能重复添加,否则将出错。已添加的分区可通过IF NOT EXISTS避免报错。
注意事项 在全天的任意一个时间段内,弹性资源池中所有队列的最小CU数之和需要小于等于弹性资源池的最小CU数。 在全天的任意一个时间段内,弹性资源池中任意一个队列的最大CU必须小于等于弹性资源池的最大CU。 弹性资源池创建后,调整最小CU时,最小CU需小于等于弹性资源池当前的CU值,否则会修改失败。
修改表的所有者,将数据转移给其他所有者。 修改表所有者 在管理控制台左侧,单击“数据管理”>“库表管理”。 单击需要修改的表对应数据库名,进入该数据库的“表管理”页面。 单击目标表“操作”栏中的“更多”>“修改所有者”。 在弹出的对话框中,输入新的所有者用户名(已存在的用户名),单击“确定”。
'obs://bucket/path/h1'; 注意事项 使用API方式对SQL创建的Hudi表触发Compaction时需要添加参数hoodie.payload.ordering.field为preCombineField的值。 使用由DLI提供的元数据服务时,本命令不支持使用OBS路径。 系统响应
max(xs, ys) 如果运算的数学结果无法通过结果数据类型的精度和范围精确地表示,则发生异常情况:Value is out of range。 当对具有不同范围和精度的decimal类型进行运算时,值首先被强制转换为公共超类型。对于接近于最大可表示精度 (38) 的类型,当一个操作数不符