检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
于增量不是很大的维度表,也可以采用非分区表。如果维度表的总数据量很大或者增量也很大,可以考虑采用某个业务ID进行分区,在大部分数据处理逻辑中针对大维度表,会有一定的业务条件进行过滤来提升处理性能,这类表要结合一定的业务场景来进行优化,无法从单纯的日期分区进行优化。事实表读取方式都
Flink Jar作业类 Flink Jar作业是否支持上传配置文件,要如何操作? Flink Jar 包冲突,导致作业提交失败 Flink Jar作业访问DWS启动异常,提示客户端连接数太多错误 Flink Jar作业运行报错,报错信息为Authentication failed
适用于可预估资源使用周期的场景,例如已完成开发进入生产阶段的项目,推荐使用包年包月计费模式预留业务所需资源。 包年包月的弹性资源池在使用过程中规格内按包周期计费,超出规格部分按需计费。 按需计费:按需计费是一种后付费模式,默认勾选专属资源模式,空闲时资源不被释放。 弹性资源池的按需
lowerBound partitionColumn设置的字段数据最小值,该值包含在返回结果中。 upperBound partitionColumn设置的字段数据最大值,该值不包含在返回结果中。 numPartitions 读取数据时并发数。 说明: 实际读取数据时,会根据“low
修改索引类型会导致表中已有的存量数据与新增数据之间出现数据重复和数据准确性问题。常见的索引类型如下: 布隆索引:Spark引擎独有索引,采用bloomfiter机制,将布隆索引内容写入到Parquet文件的footer中。 Bucket索引:在写入数据过程中,通过主键进行Hash
('apple',7); --将fruit表中的数据行加载到fruit_copy 表中,执行后表中有5条记录 insert into fruit_copy select * from fruit; --先清空fruit_copy表,再将fruit 中的数据加载到表中,执行之后表中有2条记录。 insert
登录到DIS管理控制台,在左侧菜单栏选择“通道管理”。检查Flink作业SQL语句中的DIS通道是否存在。 如果Flink作业中的DIS通道还未创建,请参见《数据接入服务用户指南》中“开通DIS通道”章节。 确保创建的DIS通道和Flink作业处于统一区域。 如果DIS通道已创建,则检查确保D
CREATE SCHEMA CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION obs_path] [WITH DBPROPERTIES (prop
算术运算符 算术运算符包括双目运算与单目运算,这些运算符都将返回数字类型。DLI所支持的算术运算符如表1所示。 表1 算术运算符 运算符 返回类型 描述 A + B 所有数字类型 A和B相加。结果数据类型与操作数据类型相关,例如一个整数类型数据加上一个浮点类型数据,结果数值为浮点类型数据。
expression) VAR_SAMP() 的同义方法。 RANK() 返回值在一组值中的排名。结果是 1 加上分区顺序中当前行之前或等于当前行的行数。排名在序列中不一定连续。 DENSE_RANK() 返回值在一组值中的排名。结果是一加先前分配的等级值。与函数 rank 不同,dense_rank
访问MySQL集群填写"数据库名.表名" 注意: 连接的RDS数据库名不能包含中划线-或^特殊字符,否则会创建表失败。 访问PostGre集群填写"模式名.表名" 说明: 模式名即为数据库模式(schema)的名称。数据库中schema是数据库对象集合,包含了表,视图等多种对象。 user (已废弃)RDS用户名。
replacement) → varchar 描述:使用replacement替换目标字符串中满足正则表达式的子串。如果replacement中包含'$'字符,使用'\$' 进行转义。在替换中,可以对编号组使用$g引用捕获组,对命名组使用${name}引用捕获组。 SELECT regexp_replace('1a
BY:指GROUP BY子句中仅包含一列,col_name_list中包含的字段必须出现在attr_expr_list的字段内,attr_expr_list中可以使用多个聚合函数,比如count(),sum(),聚合函数中可以包含其他字段。 多列GROUP BY:指GROUP BY子句中不止一列,查询语句将按照GROUP
查询所有队列 功能介绍 该API用于列出该project下所有的队列。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET/v1.0/{project_id}/queues 参数说明 表1 URI参数 参数名称 是否必选 参数类型 说明 project_id
返回STRING类型的值。 如果start的值大于切分后实际的分段数,例如字符串拆分完有4个片段,start大于4,返回空串。 如果separator不存在于str中,且start指定为1,返回整个str。如果str为空串,则输出空串。 如果separator为空串,则返回原字符串str。 如果end大于片段个数,返回从start开始的子串。
仅支持在账单中查看数据存储的计费信息。详细操作参考费用账单。 按照存储在DLI服务中的表数据存储量(单位为“GB”)收取存储费用。 在估算存储费用时,请特别注意,DLI采用压缩存储,通常能压缩到原文件大小的 1/5 。DLI存储按照压缩后的大小计费。 如果数据存储在OBS服务中,则DL
不能随意修改基础镜像中DLI相关组件及目录。 仅支持Spark jar作业、Flink jar作业,即jar包作业。 使用流程 图1 自定义镜像使用流程 获取DLI基础镜像。 使用Dockerfile将作业运行需要的依赖(文件、jar包或者软件)打包到镜像中,生成自定义镜像。 将镜像发布到SWR(容器镜像服务)中。
格变更中”,表示队列正在扩缩容中。 修改弹性扩缩容定时任务 如果设定的定时任务不再满足业务需求,可以在“弹性扩缩容定时任务”页面修改弹性扩缩容定时任务。 在DLI管理控制台左侧,选择“资源管理 > 队列管理”。 选择需要设置弹性扩缩容定时任务的队列,单击“操作”列“更多”中的“弹性扩缩容定时任务”。
BY子句中仅包含一列。 多列GROUP BY:指GROUP BY子句中不止一列,查询语句将按照GROUP BY的所有字段分组,所有字段都相同的记录将被放在同一组中。 注意事项 GroupBy在流处理表中会产生更新结果 示例 根据score及name两个字段对表student进行分组,并返回分组结果。 1
BY子句中仅包含一列。 多列GROUP BY:指GROUP BY子句中不止一列,查询语句将按照GROUP BY的所有字段分组,所有字段都相同的记录将被放在同一组中。 注意事项 GroupBy在流处理表中会产生更新结果 示例 根据score及name两个字段对表student进行分组,并返回分组结果。 1