检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink提供了完整可靠的Checkpoint/Savepoint机制，您可以利用该机制，保证在手动重启或者作业异常重启场景下，不丢失数据。 为了避免系统故障导致作业异常自动重启后，丢失数据： 对于Flink SQL作业，您可以勾选“开启Checkpoint”，并合理配置Checkpoint
Kafka 功能描述 Kafka 连接器提供从 Kafka topic 中消费和写入数据的能力。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 表1 支持类别
通过DLI跨源写DWS表，非空字段出现空值异常怎么办？ 问题现象 客户在DWS建表，然后在DLI创建跨源连接读写该表，突然出现如下异常，报错信息显示DLI向该表某非空字段写入了空值，因为非空约束存在导致作业出错。 报错信息如下： DLI.0999: PSQLException: ERROR:
导出作业结果到DLI作业桶 DLI在指定了一个默认的OBS桶作为作业结果的存储位置，请在DLI管理控制台的“全局配置 > 工程配置”中配置桶信息。当作业完成后，系统会自动将结果存储到这个默认桶中。 使用DLI作业桶读取查询结果，需具备以下条件： 在DLI管理控制台“全局配置 > 工程配置”中完成作业桶
DROP COLUMN 功能开启 配置参数： hoodie.schema.evolution.enable=true 命令功能 ALTER TABLE ... DROP COLUMN语法用于删除列。 命令语法 ALTER TABLE tableName DROP COLUMN|COLUMNS
DLI表数据的生命周期管理功能（dli.lifecycle.days），指表（分区）数据从最后一次更新的时间算起，在经过指定的时间后没有变动，则此表（分区）DLI自动回收。这个指定的时间就是生命周期。生命周期管理功能方便您释放存储空间，简化回收数据的流程。同时提供数据备份与恢复功能，避免因误操作丢失数据。
典型场景示例：迁移Kafka数据至DLI 本文为您介绍如何通过CDM数据同步功能，迁移MRS Kafka数据至DLI。 前提条件 已创建DLI的SQL队列。创建DLI队列的操作可以参考创建DLI队列。 创建DLI队列时队列类型需要选择为“SQL队列”。 已创建包含Kafka组件的
dli_management_agency 系统默认委托 DLI系统委托，用于将操作权限委托给DLI服务，让DLI服务以您的身份使用其他云服务，代替您进行一些资源运维工作。该委托包含跨源操作、消息通知、用户授权操作所需的权限。详细委托包含的权限请参考表2 dli_data_clean_agency 系统默认委托，需用户自行授权
批量添加资源标签 功能介绍 批量添加资源标签。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v3/{project_id}/{resource_typ
查询资源实例数量 功能介绍 查询资源实例数量。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v3/{project_id}/{resource_typ
RENAME COLUMN 功能开启 配置参数： hoodie.schema.evolution.enable=true 命令功能 ALTER TABLE ... RENAME COLUMN语法用于修改列名称。 命令语法 ALTER TABLE tableName RENAME COLUMN
资源进行指定的管理操作。 了解DLI SQL常用操作与系统策略的授权关系，请参考常用操作与系统权限关系。 表1 DLI系统权限 系统角色/策略名称 描述 类别 依赖关系 DLI FullAccess 数据湖探索所有权限。 系统策略 该角色有依赖，需要在同项目中勾选依赖的角色： 创建跨源连接：VPC
getdate getdate函数用于返回当前系统时间。返回值格式为yyyy-mm-dd hh:mi:ss。 相似函数：current_date，current_date函数用于返回当前日期值。返回值格式为yyyy-mm-dd。 命令格式 getdate() 参数说明 无 返回值说明
TABLE 命令功能 该命令将会把表中的数据清空。 命令语法 TRUNCATE TABLE tableIdentifier 参数描述 表1 TRUNCATE TABLE参数描述 参数 描述 tableIdentifier 表名。 示例 truncate table h0_1; 系统响应 通
查询资源实例列表 功能介绍 该接口用于查询资源实例列表。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v3/{project_id}/{resourc
当您使用insert overwrite语句覆盖分区表的数据时，如果发现它覆盖了全量数据而不是预期的分区数据，这可能是因为动态分区覆盖功能没有被启用。 如果需要动态覆盖DataSource表指定的分区数据，您需要先配置参数 dli.sql.dynamicPartitionOverwrite
table_name 描述 从表或分区中移除所有行。当表属性“auto.purge”采用默认值“false”时，被删除的数据行将保存到文件系统的回收站，否则，当“auto.purge”设置为“true”时，数据行将被直接删除。 限制 目标表必须是管控表（表属性external=false），否则执行语句将报错。
查询指定资源实例的标签信息 功能介绍 查询指定资源实例的标签信息。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v3/{project_id}/{res
SHOW_LOG_FILE 命令功能 查看log文件的meta和record信息。 命令格式 查看meta： call show_logfile_metadata(table => '[table]', log_file_path_pattern => '[log_file_path_pattern]'
SHOW_COMMIT_FILES 命令功能 查看指定的instant一共更新或者插入了多个文件。 命令格式 call show_commit_files(table=>'[table]', instant_time=>'[instant_time]', limit=>[limit]);
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
