-
ClickHouse结果表 - 数据湖探索 DLI
connector.write.flush.max-rows 否 写数据时刷新数据的最大行数,默认值为:5000。
-
percentlie - 数据湖探索 DLI
percentlie_approx percentile_approx函数用于计算近似百分位数,适用于大数据量。先对指定列升序排列,然后取第p位百分数最靠近的值。
-
使用DLI Flink SQL进行电商实时业务数据分析 - 数据湖探索 DLI
队列CU时按需计费的计算费用=单价*CU数*小时数。 VPC VPC丰富的功能帮助您灵活管理云上网络,包括创建子网、设置安全组和网络ACL、管理路由表、申请弹性公网IP和带宽等。 VPC本身不收取费用。 但如有互联网访问需求,您需要购买弹性公网IP。
-
数学运算函数 - 数据湖探索 DLI
LOG10(A) 所有数字类型 返回A的基数10对数。 EXP(A) 所有数字类型 返回e的a次方。 CEIL(A) CEILING(A) 所有数字类型 将参数向上舍入为最接近的整数。例如ceil(21.2),返回22。
-
弹性资源池的实际CUs、CU范围、规格的含义 - 数据湖探索 DLI
弹性资源池中所有队列的最小CU数之和需要小于等于弹性资源池的最小CU数。 弹性资源池中任意一个队列的最大CU必须小于等于弹性资源池的最大CU。 弹性资源池至少可以满足弹性资源池中所有队列按最小CU运行,尽量满足队列按最大CU运行。
-
shiftleft - 数据湖探索 DLI
shiftleft shiftleft函数用于有符号左移,将a的二进制数按位左移b位。
-
shiftleft - 数据湖探索 DLI
shiftleft shiftleft函数用于有符号左移,将a的二进制数按位左移b位。
-
弹性资源池规格变更 - 数据湖探索 DLI
例如,当前弹性资源池的规格为64CU,实际使用过程中大部分时间CU数在128CU以上,没有规格变更的场景下64CU部分采用包年包月计费,超出的64CU按弹性资源池CU时计费方式计费。
-
使用DLI进行车联网场景驾驶行为数据分析 - 数据湖探索 DLI
队列CU时按需计费的计算费用=单价*CU数*小时数。 数据说明 详单数据 车辆上报的详单数据,包括定时上报的位置记录和异常的驾驶行为触发的告警事件数据。
-
regexp - 数据湖探索 DLI
regexp_count regexp_count函数用于计算source中从start_position位置开始,匹配指定pattern的子串数。
-
regexp - 数据湖探索 DLI
regexp_count regexp_count函数用于计算source中从start_position位置开始,匹配指定pattern的子串数。
-
DWS源表 - 数据湖探索 DLI
scan.fetch-size 否 0 Integer 每次从数据库拉取数据的行数。默认值为0,表示不限制。 pwd_auth_name 否 无 String DLI侧创建的Password类型的跨源认证名称。 使用跨源认证则无需在作业中配置账号和密码。
-
迁移DWS数据至DLI - 数据湖探索 DLI
抽取并发数:设置同时执行的抽取任务数。这里保持默认值“1”。 是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中,以便后面查看,可通过该参数配置,写入脏数据前需要先配置好OBS连接。这里保持默认值“否”即可,不记录脏数据。
-
创建Redis表 - 数据湖探索 DLI
cache_max_num 否 表示最大缓存的查询结果数,默认值为32768。 cache_time 否 表示数据库查询结果在内存中缓存的最大时间。单位为毫秒,默认值为10000,当值为0时表示不缓存。 注意事项 不支持Redis集群。
-
Spark作业运行大批量数据时上报作业运行超时异常错误 - 数据湖探索 DLI
Spark作业运行大批量数据时上报作业运行超时异常错误 Spark作业程序访问大批量数据,如访问DWS大批量数据库数据时,建议设置并发数,启动多任务的方式运行,避免作业运行超时。
-
count - 数据湖探索 DLI
colname可以为*,即count(*),返回所有行数。 返回值说明 返回BIGINT类型。 colname值为NULL时,该行不参与计算。 示例代码 计算所有仓库表中的记录数。
-
count - 数据湖探索 DLI
colname可以为*,即count(*),返回所有行数。 返回值说明 返回BIGINT类型。 colname值为NULL时,该行不参与计算。 示例代码 计算所有仓库表中的记录数。
-
创建数据库和表 - 数据湖探索 DLI
- 操作 增加列 删除列 说明: 当列数较多时,建议您使用SQL语句创建表,或直接从本地Excel导入列信息。 - 表3 数据位置为OBS的参数说明 参数名称 描述 示例 数据格式 支持以下数据格式。
-
INTERSECT - 数据湖探索 DLI
语法格式 1 select_statement INTERSECT select_statement; 关键字 INTERSECT:返回多个查询结果的交集,且每一个SELECT语句返回的列数必须相同,列的类型和列名不一定要相同。INTERSECT默认去重。
-
聚合函数 - 数据湖探索 DLI
例如使用COUNT函数计算SQL查询语句返回的记录行数。聚合函数如表1所示。