-
Ogg Format - 数据湖探索 DLI
Ogg Format 功能描述 Oracle GoldenGate (a.k.a ogg) 是一个实现异构 IT 环境间数据实时数据集成和复制的综合软件包。 该产品集支持高可用性解决方案、实时数据集成、事务更改数据捕获、运营和分析企业系统之间的数据复制、转换和验证。Ogg 为变更日志提供了统一的格式结构
-
(推荐)DLI SDK V3 - 数据湖探索 DLI
huaweicloud-sdk-nodejs-v3 Node.js SDK使用指导 Node.js SDK视频指导 .NET huaweicloud-sdk-net-v3 .NET SDK使用指导 .NET SDK视频指导 SDK列表提供了DLI云服务支持的SDK列表,您可以在GitHub
-
原生数据类型 - 数据湖探索 DLI
s表示小数点右侧所能储存的最大十进制数的位数。小数位数必须是从0到p的值。只有在指定了有效位数时,才能指定小数位数。因此,0 ≤ s ≤ p。例如:decimal(10,6),表示数值中共有10位数,其中整数占4位,小数占6位。
-
聚合函数 - 数据湖探索 DLI
例如使用COUNT函数计算SQL查询语句返回的记录行数。聚合函数如表1所示。
-
数学运算函数 - 数据湖探索 DLI
LOG10(A) 所有数字类型 返回A的基数10对数。 EXP(A) 所有数字类型 返回e的a次方。 CEIL(A) CEILING(A) 所有数字类型 将参数向上舍入为最接近的整数。例如ceil(21.2),返回22。
-
聚合函数 - 数据湖探索 DLI
例如使用COUNT函数计算SQL查询语句返回的记录行数。聚合函数如表1所示。
-
弹性资源池队列管理 - 数据湖探索 DLI
添加完队列后,可以根据不同队列计算资源使用量的波峰和波谷和优先级来配置要扩缩容的CU数,从而来保障作业的稳定运行。 注意事项 在全天的任意一个时间段内,弹性资源池中所有队列的最小CU数之和必须小于等于弹性资源池的最小CU数。
-
Flink SQL作业Kafka分区数增加或减少,不用停止Flink作业,实现动态感知 - 数据湖探索 DLI
初期Flink作业规划的Kafka的分区数partition设置过小或过大,后期需要更改Kafka区分数。
-
Flink Jar作业访问DWS启动异常,提示客户端连接数太多错误 - 数据湖探索 DLI
Flink Jar作业访问DWS启动异常,提示客户端连接数太多错误 问题描述 提交Flink Jar作业访问DWS数据仓库服务时,提示启动失败,作业日志报如下错误信息。
-
数学函数概览 - 数据湖探索 DLI
rand rand(INT seed) DOUBLE 返回大于或等于0且小于1的平均分布随机数。如果指定种子seed,则会得到一个稳定的随机数序列。 round round(DOUBLE a) DOUBLE 四舍五入。
-
迁移RDS数据至DLI - 数据湖探索 DLI
抽取并发数:设置同时执行的抽取任务数。这里保持默认值“1”。 是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中,以便后面查看,可通过该参数配置,写入脏数据前需要先配置好OBS连接。这里保持默认值“否”即可,不记录脏数据。
-
创建Spark作业 - 数据湖探索 DLI
Spark作业参数计算公式: CU数=driver CPU核数+Executor个数*Executor CPU核数 内存数=driver内存+(Executor个数*Executor内存) 表3 选择依赖资源参数说明 参数名称 参数描述 modules 如果选择Spark版本为3.1.1
-
number - 数据湖探索 DLI
说明 LIMIT限制输出的行数,只支持INT类型。 父主题: 标示符
-
number - 数据湖探索 DLI
说明 LIMIT限制输出的行数,只支持INT类型。 父主题: 标示符
-
Flink作业详情 - 数据湖探索 DLI
并行数 作业配置的同时运行Flink作业的任务数。 单TM所占CU数 作业配置的每个TaskManager所占CU数量。 单TM Slot数 作业配置的每个TaskManager Slot数量。 OBS桶 作业配置了OBS桶显示。
-
原生数据类型 - 数据湖探索 DLI
s表示小数点右侧所能储存的最大十进制数的位数。小数位数必须是从0到p的值。只有在指定了有效位数时,才能指定小数位数。因此,0 ≤ s ≤ p。例如:decimal(10,6),表示数值中共有10位数,其中整数占4位,小数占6位。
-
数据湖探索监控指标说明及查看指导 - 数据湖探索 DLI
≥0 队列 5分钟 queue_job_running_num 运行中作业数 展示用户队列中状态为运行中的作业数。 ≥0 队列 5分钟 queue_job_succeed_num 已完成作业数 展示用户队列中状态为已完成的作业数。
-
笛卡尔连接 - 数据湖探索 DLI
笛卡尔连接 功能描述 笛卡尔连接把第一个表的每一条记录和第二个表的所有记录相连接,如果第一个表的记录数为m, 第二个表的记录数为n,则会产生m*n条记录数。
-
negative - 数据湖探索 DLI
negative negative函数用于返回a的相反数。 命令格式 negative(INT a) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 a 是 DOUBLE、BIGINT、DECIMAL、STRING类型。
-
笛卡尔连接 - 数据湖探索 DLI
笛卡尔连接 功能描述 笛卡尔连接把第一个表的每一条记录和第二个表的所有记录相连接,如果第一个表的记录数为m, 第二个表的记录数为n,则会产生m*n条记录数。