检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hudi数据表Archive规范 Archive（归档）是为了减轻Hudi读写元数据的压力，所有的元数据都存放在这个路径：Hudi表根目录/.hoodie目录，如果.hoodie目录下的文件数量超过10000就会发现Hudi表有非常明显的读写时延。 规则 Hudi表必须执行Archive
条件函数 函数说明 表1 条件函数 条件函数 函数说明 CASE value WHEN value1_1 [, value1_2 ]* THEN result1 [ WHEN value2_1 [, value2_2 ]* THEN result2 ]* [ ELSE resultZ
INSERT 语法 INSERT { INTO | OVERWRITE } [TABLE] table_name [(column_list)] [ PARTITION (partition_clause)] {select_statement | VALUES (value [,
Flink作业常用操作 用户创建了新作业后，需要根据用户的实际需求对作业进行操作，包括编辑作业基本信息，启停作业、导入/导出作业等。 编辑作业 用户可以对已经创建的作业进行编辑，如修改SQL语句、作业名称和描述、作业配置信息等。 在DLI管理控制台的左侧导航栏中，单击“作业管理”>
设置普通队列的弹性扩缩容定时任务 弹性扩缩容定时任务使用场景 通常，用户业务繁忙的场景是有周期性的，在某个周期内，用户需要更多的计算资源来处理业务，过了这个周期，则不需要那么多资源。如果用户购买的队列规格比较小，在业务繁忙时会存在资源不足的情况；而如果购买的队列规格比较大，又可能会存在资源浪费的情况
CLUSTERING 命令功能 对Hudi表进行clustering操作，具体作用可以参考Hudi Clustering操作说明章节。 命令格式 执行clustering： call run_clustering(table=>'[table]', path=>'[path]',
Teradata函数 以下函数提供Teradata SQL的能力。 字符串函数 char2hexint(string) 描述：返回字符串的UTF-16BE编码的十六进制表示形式。 index(string, substring) 描述：同strpos() 函数。 日期函数 本节中的函数使用与
split_part split_part函数用于依照分隔符separator拆分字符串str，返回从start部分到end部分的子串（闭区间）。 命令格式 split_part(string <str>, string <separator>, bigint <start>[,
MySQL CDC源表 功能描述 MySQL的CDC源表，即MySQL的流式源表，会先读取数据库的历史全量数据，并平滑切换到Binlog读取上，保证数据的完整读取。 前提条件 MySQL CDC要求MySQL版本为5.7或8.0.x。 该场景作业需要DLI与MySQL建立增强型跨源连接
管理Flink作业模板 Flink模板包括样例模板和自定义模板。用户可以在已有的样例模板中进行修改，来实现实际的作业逻辑需求，节约编辑SQL语句的时间。也可以根据自己的习惯和方法自定义作业模板，方便后续可以直接调用或修改。 Flink模板管理主要包括如下功能： Flink SQL样例模板
创建跨源认证（废弃） 功能介绍 该API用于创建跨源认证。 当前接口已废弃，不推荐使用。推荐使用创建跨源认证。 调试 您可以在API Explorer中调试该接口。 URI URI格式： POST /v2.0/{project_id}/datasource/auth-infos 参数说明
创建跨源认证 功能介绍 该API用于创建跨源认证。 调试 您可以在API Explorer中调试该接口。 URI URI格式： POST /v3/{project_id}/datasource/auth-infos 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id
DLI SDK简介 DLI SDK简介 数据湖探索服务软件开发工具包（DLI SDK，Data Lake Insight Software Development Kit）是对DLI服务提供的REST API进行的作业提交的封装，以简化用户的开发工作。用户直接调用DLI SDK提供的接口函数即可实现使用提交
COMPACTION 命令功能 对Hudi表进行compaction操作，具体作用可以参考Hudi Compaction操作说明章节。 命令格式 call run_compaction(op => '[op]', table=>'[table]', path=>'[path]',
JDBC源表 功能描述 JDBC连接器是Flink内置的Connector，用于从数据库读取相应的数据。 前提条件 要与实例建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则
Hudi常见配置参数 本章节介绍Hudi重要配置的详细信息，更多配置请参考hudi官网：https://hudi.apache.org/cn/docs/0.11.0/configurations/。 提交DLI Spark SQL作业时，在SQL编辑器界面右上角的”设置”->”参数设置
本文样例表数据准备 --创建具有TINYINT类型数据的表。 CREATE TABLE int_type_t1 (IT_COL1 TINYINT) ; --插入TINYINT类型数据 insert into int_type_t1 values (TINYINT
Flink作业性能调优 性能调优相关基本概念 消费组积压 消费组积压可通过topic最新数据offset减去该消费组已提交最大offset计算得出，说明的是该消费组当前待消费的数据总量。 如果Flink作业对接的是kafka专享版，则可通过云监控服务(CES)进行查看。具体可选择“
基本概念 弹性资源池 专属的计算资源，不同弹性资源上的计算资源完全隔离，弹性资源池内的不同队列资源可以共享，并可以根据队列资源负载配置策略进行分时弹性扩缩容，满足不同的业务需求。 DLI存储资源 DLI存储资源是DLI服务内部存储的资源，用于存储数据库和DLI表，是向DLI导入数据的必备条件
MySql CDC 功能描述 MySQL的CDC源表，即MySQL的流式源表，会先读取数据库的历史全量数据，并平滑切换到Binlog读取上，保证数据的完整读取。 表1 支持类别 类别 详情 支持表类型 源表 前提条件 MySQL CDC要求MySQL版本为5.6，5.7或8.0.x
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
