检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS配置 DLI跨源连接中配置MRS主机信息 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 对接MRS HBase需要在DLI队列的host文件中添加MRS集群节点的/etc/hosts信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。
语法 STRING JSON_VAL(STRING json_string, STRING json_path) 表2 参数说明 参数 数据类型 说明 json_string STRING 需要解析的JSON对象，使用字符串表示。 json_path STRING 解析JSON的路径表达式，使用字符串表示。
Debezium Format 功能描述 Debezium是一个 CDC（Changelog Data Capture，变更数据捕获）的工具，可以把其他数据库的更改实时流式传输到 Kafka 中。 Debezium 为变更日志提供了统一的格式结构，并支持使用 JSON消息。 Flink
CLEAN_FILE 命令功能 用于清理Hudi表目录下的无效数据文件。 命令格式 call clean_file(table => '[table_name]', mode=>'[op_type]', backup_path=>'[backup_path]', start_in
SHOW_FS_PATH_DETAIL 命令功能 查看指定的FS路径的统计数据 命令格式 call show_fs_path_detail(path=>'[path]', is_sub=>'[is_sub]', sort=>'[sort]'); 参数描述 表1 参数描述 参数 描述
CLEANARCHIVE 命令功能 用于对Hudi表的归档文件进行清理，以减少Hudi表的数据存储及读写压力。 命令格式 按文件容量进行清理，需要配置参数： hoodie.archive.file.cleaner.policy = KEEP_ARCHIVED_FILES_BY_SIZE;
CONVERT TO DELTA 命令功能 CONVERT TO DELTA 命令将现有的 Parquet 表就地转换为 Delta 表。 此命令会列出目录中的所有文件，创建 Delta Lake 事务日志来跟踪这些文件，并通过读取所有 Parquet 文件的页脚来自动推断数据架构。
SHALLOW CLONE 命令功能 SHALLOW CLONE 命令在特定版本创建现有Delta表的浅拷贝。被克隆的信息包括：schema、分区信息、数据文件路径等。 对克隆表所做的任何更改都只会影响克隆本身，而不会影响源表，只要它们不触及源数据。注意克隆表可能仍会指向源表的数
责任共担 华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的云安全挑战和无孔不入的云安全威胁与攻击，华为云在遵从法律法规业界标准的基础上，以安全生态圈为护城河，依托华为独有的软硬件优势，构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任，如图1所示。
自动续费 自动续费可以减少手动续费的管理成本，避免因忘记手动续费而导致资源被自动删除。自动续费的规则如下所述： 以资源的到期日计算第一次自动续费日期和计费周期。 您可以在购买资源时开通自动续费，在购买资源时，自动续费周期以实际选择的续费时长为准。 在到期前均可开通自动续费，到期前
VACUUM 命令功能 VACUUM命令用于删除表目录中不由 Delta 管理的所有文件，并删除不再处于表事务日志最新状态且超过保留期阈值的数据文件。默认阈值为 7 天。 注意事项 RETAIN num HOURS表示保留期阈值，建议设置为至少 7 天。 如果对 Delta 表运
集群中的CPU使用率还有提升空间，可以调大该参数。 timeout 连接redis的超时时间，单位ms，默认值2000（2秒超时）。 保存类型：Overwrite、Append、ErrorIfExis、Ignore 四种 如果需要保存嵌套的DataFrame，则通过“.option("model"
productid INT, -- 商品编号 productname STRING, -- 商品名称 category STRING, -- 商品类别 price DECIMAL(10,2) -- 单价 ) using parquet;-- 创建交易表 CREATE TABLE IF not
续费概述 续费简介 包年/包月DLI资源到期后会影响资源的正常使用。如果您想继续使用，需要在指定的时间内续费，否则队列、弹性资源池等资源会自动释放，数据丢失且不可恢复。 续费操作仅适用于包年/包月资源，按需计费资源不需要续费，只需要保证账户余额充足即可。DLI的包周期资源包括：队列、弹性资源池。
CREATE TABLE AS SELECT 命令功能 CREATE TABLE As SELECT命令通过指定带有表属性的字段列表来创建Hudi Table。在使用由DLI提供的元数据服务时仅可创建外表，即需要通过LOCATION指定表路径。 命令格式 CREATE TABLE
Flink OpenSource SQL 1.15版本使用说明 如果您的作业是从Flink1.12版本切换至Flink 1.15，在使用Flink OpenSource SQL 1.15时请注意以下使用说明。 Flink SQL采用SQL Client 提交方式，相比Flink1
欠费说明 用户在使用DLI服务时，账户的可用额度小于待结算的账单，即被判定为账户欠费。欠费后，可能会影响云服务资源的正常运行，请及时充值。 欠费原因 已购买套餐包，但使用量超出套餐包额度，进而产生按需费用，同时账户中的余额不足以抵扣产生的按需费用。请参考已购买套餐包，为什么仍然产
INSERT INTO 命令功能 INSERT命令用于将SELECT查询结果加载到Hudi表中。 命令格式 INSERT INTO tableIndentifier select query; 参数描述 表1 INSERT INTO参数 参数 描述 tableIndentifier
在DLI控制台配置数据库权限 数据库权限操作场景 针对不同用户，可以通过权限设置分配不同的数据库权限。 管理员用户和数据库的所有者拥有所有权限，不需要进行权限设置且其他用户无法修改其数据库权限。 给新用户设置数据库权限时，该用户所在用户组的所属区域需具有Tenant Guest权限。关于Tenant
数据湖探索简介 什么是数据湖探索 数据湖探索（Data Lake Insight，简称DLI）是完全兼容Apache Spark、Apache Flink、HetuEngine生态，提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器，即开即用。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
