检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设置普通队列的弹性扩缩容定时任务 弹性扩缩容定时任务使用场景 通常,用户业务繁忙的场景是有周期性的,在某个周期内,用户需要更多的计算资源来处理业务,过了这个周期,则不需要那么多资源。如果用户购买的队列规格比较小,在业务繁忙时会存在资源不足的情况;而如果购买的队列规格比较大,又可能会存在资源浪费的情况。
云监控服务为用户的云上资源提供了立体化监控平台。通过云监控您可以全面了解云上的资源使用情况、业务的运行状况,并及时收到异常告警做出反应,保证业务顺畅运行。 DLI服务提供基于云监控服务CES的资源监控能力 DLI已对接云监控服务,提供基于云监控服务的资源监控能力,帮助用户监控账号下的DLI
COMPACTION 命令功能 压缩( compaction)用于在 MergeOnRead表将基于行的log日志文件转化为parquet列式数据文件,用于加快记录的查找。 命令格式 SCHEDULE COMPACTION on tableIdentifier |tablelocation;
故障恢复 系统级故障恢复 DLI系统采用存算分离的架构,计算集群基于K8s资源调度和故障切换机制,在系统故障时,支持自动故障恢复。 作业级故障恢复 Flink、Spark作业支持配置自动重启恢复机制,在开启自动重启功能后,当作业出现异常时将自动重启恢复作业。 父主题: 安全
这两种采样方法都不允许限制结果集返回的行数。 BERNOULLI 每一行都将基于指定的采样率选择到采样表中。当使用Bernoulli方法对表进行采样时,将扫描表的所有物理块并跳过某些行(基于采样百分比和运行时计算的随机值之间的比较)。结果中包含一行的概率与任何其他行无关。这不会减少从磁盘读取采样表所需的时间。
语句中,可以随意添加其他的查询条件,但其他条件只允许通过 AND 与 rownum <= N 结合使用。 注意事项 TopN 查询的结果会带有更新。 Flink SQL 会根据排序键对输入的流进行排序。 如果 top N 的记录发生了变化,变化的部分会以撤销、更新记录的形式发送到下游。 如果
语句中,可以随意添加其他的查询条件,但其他条件只允许通过 AND 与 rownum <= N 结合使用。 注意事项 TopN 查询的结果会带有更新。 Flink SQL 会根据排序键对输入的流进行排序。 如果 top N 的记录发生了变化,变化的部分会以撤销、更新记录的形式发送到下游。 如果
语句中,可以随意添加其他的查询条件,但其他条件只允许通过 AND 与 rownum <= N 结合使用。 注意事项 TopN 查询的结果会带有更新。 Flink SQL 会根据排序键对输入的流进行排序。 如果 top N 的记录发生了变化,变化的部分会以撤销、更新记录的形式发送到下游。 如果
pattern [ESCAPE escapeChar] ] 描述 这个表达式用于列出指定schema下的所有表。如果没有指定schema,则默认使用当前所在的schema。 可选参数like被用于基于关键字来进行匹配。 示例 --创建测试表 Create table show_table1(a
”栏可查看到连接的数据库信息。 通过新建的连接即可对DLI执行后续的数据查询相关工作。 步骤3:在DBeaver编写SQL查询 在DBeaver建立与DLI的连接后,即可在DBeaver编写SQL查询: 您可以在左侧的数据库导航面板中选择数据库对象,然后在中间的查询编辑器中编写SQL语句。
Flink Jar作业只能运行在预先创建的独享队列上。 如果“所属队列”下拉框中无可用的独享队列,请先创建一个独享队列并将该队列绑定到当前用户 选择Flink Jar作业运行的队列 应用程序 用户自定义的程序包 自定义的程序包 主类 指定加载的Jar包类名,如FlinkDisToDisExample。
TypeSerializer 序列化的字节序列。 示例 使用kafka发送数据,输出到print中。 根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列 > 找到作业的所属队列 >
读取kafka中的数据,以avro格式反序列化,并输出到print中。 根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列-->找到作业的所属队列-->更
定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列-->找到作业的所属队列-->更多-->测试地址连通性-->输入kafka的地址-->测试)。若能连通,则表示跨源已经绑定成功;否则表示未成功。 创建flink
为什么已有View视图的select权限,但是查询不了View? 问题描述 用户A创建了表Table1。 用户B基于Table1创建了视图View1。 赋予用户C Table1的查询表权限后,用户C查询View失败。 根因分析 用户C查询View失败的原因是由于用户B不具备Table1的查询表权限。
expression 是 所有数据类型。 要比较的表达式。 search 是 与expression一致。 与expression进行比较的搜索项。 result 是 所有数据类型。 search和expression的值匹配时的返回值。 default 否 与result一致。
3对内部接口Logging做了行为变更,如果用户代码里直接继承了该Logging,且编译时使用的是低版本的Spark,那么应用程序在Spark 2.3的环境中运行将会报java.lang.AbstractMethodError。 解决措施有如下两种方案: 基于Spark 2.3重新编译应用 使用sl4j+log4j来
数据仓库服务(Data Warehouse Service,简称DWS)是一种基于基础架构和平台的在线数据处理数据库,为用户提供海量数据挖掘和分析服务。DWS的更多信息,请参见《数据仓库服务管理指南》。 前提条件 请务必确保您的账户下已在数据仓库服务(DWS)里创建了DWS集群。 如何创建DW
参考增强型跨源连接,在DLI上根据DWS和Kafka所在的虚拟私有云和子网分别创建相应的增强型跨源连接,并绑定所要使用的Flink弹性资源池。 设置DWS和Kafka的安全组,添加入向规则使其对Flink的队列网段放通。参考测试地址连通性分别根据DWS和Kafka的地址测试队列连通性。若能连通,则表示跨源已经绑定成功,否则表示未成功。
在sink算子前是否按指定的主键进行分区。 该参数旨在解决多并发写入的场景下且write.mode为upsert时,如果多个子任务中写入sink的一批数据具有不止一条相同的主键,并且主键相同的这些数据先后顺序不一致,就会导致两个子任务在向DWS根据主键获取行锁时发生互锁的问题。 示例 该示