检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
跨源分析 当DLI有访问外部数据源的业务需求时，首先需要通过建立增强型跨源连接，打通DLI与数据源之间的网络，再开发不同的作业访问数据源以实现DLI跨源分析。 本节操作介绍DLI支持的数据源对应的开发方式。 使用须知 Flink作业访问DIS，OBS和SMN数据源，无需创建跨源连接，可以直接访问。
ALL：消息的value部分将包含schema的所有字段，包括定义中键的字段。 EXCEPT_KEY：记录的value部分包含schema的所有内容，定义为主键的字段除外。 properties.* 否 无 String 该选项可以传递任意的Kafka参数。 “properties.”后的后缀名必须匹配定义在 kafka参数文档中的参数名。
返回小数部分，d位之后数字的四舍五入，d为int型。例如round(21.263,2)，返回21.26。 PI 所有数字类型 返回pi的值。 E() 所有数字类型 返回e的值。 RAND() 所有数字类型 返回一个0.0和1.0之间的随机double类型的数（包含0.0，不包含1.0）。
GO语言深入之道 介绍几个Go语言及相关开源框架的插件机制 跟唐老师学习云网络 唐老师将自己对网络的理解分享给大家 智能客服 您好！我是有问必答知识渊博的的智能问答机器人，有问题欢迎随时求助哦！ 社区求助 华为云社区是华为云用户的聚集地。这里有来自数据湖探索的技术牛人，为您解决技术难题。
常见场景的委托权限策略 本节操作提供了DLI常见场景的委托权限策略，用于用户自定义权限时配置委托的权限策略。委托策略中的“Resource”根据需要具体情况进行替换。 数据清理委托权限配置 适用场景：数据清理委托，表生命周期清理数据及lakehouse表数据清理使用。该委托需新建
DLI弹性资源池和队列类 怎样查看弹性资源池和作业的资源使用情况？ 怎样判断当前DLI队列中的作业是否有积压？ 怎样查看DLI队列负载？ 怎样监控DLI队列上的作业异常？ 怎样将老版本的Spark队列切换成通用型队列 在default队列执行DLI SQL失败，提示超时异常怎么办？
怎样修改DLI上已经创建好的表的字段名称？ DLI本身不支持直接修改表的字段名称，但您可以通过以下步骤来解决这个问题表数据迁移的方式来解决该问题： 创建新表：创建一个新表，并定义新的表字段名称。 迁移数据：使用INSERT INTO ... SELECT语句将旧表的数据迁移到新表中。
标表的Schema信息匹配。即确保源表和目标表的数据类型和列字段个数相同，以避免插入失败。 如果目标表中的某些字段在SELECT子句中没有被指定，那么这些字段也可能被插入默认值或置为空值（取决于该字段是否允许空值）。 父主题： SQL作业开发类
配置DBT连接DLI进行数据调度和分析 DBT（Data Build Tool），是一款开源的数据建模和转换工具，运行在Python环境上。DBT连接DLI，用来定义和执行SQL转换，支持从数据集成、转换到分析的整个数据生命周期管理，适用于大规模数据分析项目和复杂的数据分析场景。 本节操作介绍DBT连接DLI的操作步骤。
在DLI中，表和数据库是定义底层数据的元数据容器。表中的元数据让DLI知道数据所在的位置，并指定了数据的结构，例如列名称、数据类型和表名称。数据库是表的逻辑分组。 OBS表、DLI表、CloudTable表 不同表类型表示不同的数据存储位置。 OBS表表示数据存储在OBS服务的桶中。 DLI表表示数据存储在本服务内部的表中。
与云审计服务（CTS）的关系 云审计服务（Cloud Trace Service）为DLI提供对应用户的操作审计。 云审计服务支持的DLI操作请参考《云审计服务支持的DLI操作列表说明》。 与云监控服务（CES）的关系 云监控（Cloud Eye）为DLI提供监控数据，监控作业中的多项指标，从而集中高效地呈现状态信息。
如果同账号同项目下存在多个相同名称的全局变量时，需要将多余相同名称的全局变量删除，保证同账号同项目下唯一，此时具备该全局变量修改权限的用户均可以修改对应的变量值。 如果同账号同项目下存在多个相同名称的全局变量，优先删除用户自建的。如果仅存在唯一名称的全局变量，则具备删除权限即的用户均可删除该全局变量。 父主题：
如果原队列使用的是弹性资源池类型的计算资源，那么新建队列不涉及计算资源的费用变化。 如果原队列使用的是非弹性资源池的类型的计算资源，那么使用弹性资源池资源新建队列后计算资源的费用将发生变化，具体情况以计算资源的价格详情为准。 示例1：使用SQL队列，将Spark版本从Spark 2.4.x升级至Spark 3
描述：该函数返回类型为bigint，它提供了count(distinct x)的近似计数。如果所有输入都是null值，则返回0。 此函数所有可能的值相对于正确的值的误差服从近似正态分布，其标准差应小于e。它不保证任何特定输入集的误差的上限。 当前该函数的实现中，e的取值范围为[0.0040625,0.26000]。
描述：提取函数用于从HTTP URL（或任何符合RFC 2396标准的URL）中提取内容。 [protocol:][//host[:port]][path][?query][#fragment] 提取的内容不会包含URI的语法分割符，比如“：”或“？”。 url_extract_fragment(url)
Color 函数 bar(x, width) 描述：使用默认的低频红色和高频绿色渲染ANSI条形图中的单个条形。例如，如果将25％的x和40的宽度传递给此函数。将绘制一个10个字符的红色条形，后跟30个空格，以创建一个40个字符的条形。 bar(x, width, low_color,
元数据（Metadata）是用来定义数据类型的数据。主要是描述数据自身信息，包含源、大小、格式或其它数据特征。数据库字段中，元数据用于诠释数据仓库的内容。 创建表时，会定义元数据，由列名、类型、列描述三列组成。 “元数据”页面将显示目标表的列名、列类型、类型和描述。 查看元数据步骤 查看元数据的入口有两个，分
的所有行。在没有ORDER BY的情况下，所有行都被视为对等行，因此未绑定的前导和当前行之间的范围等于未绑定的前导和未绑定的后续之间的范围。 例如：下面的查询将salary表中的信息按照每个部门员工工资的大小进行排序。 --创建数据表并插入数据 create table salary
UUID函数 使用该函数产生一个伪随机的唯一通用标识符。 select uuid(); 父主题： SQL函数和操作符
实时入湖都是需要分钟内或者分钟级的高性能入湖，索引的选择会影响到写Hudi表的性能。在性能方面各个索引的区别如下： Bucket索引 优点：写入过程中对主键进行hash分桶写入，性能比较高，不受表的数据量限制。Flink和Spark引擎都支持，Flink和Spark引擎可以实现交叉混写同一张表。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
