检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
(.carbonindexmerge)。 这增强了首次查询性能。 参考信息 建议避免对历史数据进行minor compaction,请参考如何避免对历史数据进行minor compaction? 父主题: CarbonData数据分析
入一个持久的日志,再对数据施加这个操作。若施加操作的过程中执行失败了,则通过读取日志并重新施加前面指定的操作,系统就得到了恢复。下面介绍了如何利用这样的概念保证接收到的数据的持久性。 Kafka数据源使用Receiver来接收数据,是Executor中的长运行任务,负责从数据源接
请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 OBS证书过期请参考如何处理集群内部OBS证书过期。 父主题: MRS集群告警处理参考
者多个节点执行。Fragments separation表示数据在两个节点之间进行交换。Fragment type表示一个fragment如何被执行以及数据在不同fragment之间怎样分布。 SINGLE Fragment会在单个节点上执行。 HASH Fragment会在固定
RS集群通过IAM委托对接OBS。 在MRS集群中配置AK/SK,AK/SK会明文暴露在配置文件中,请谨慎使用,具体请参考MRS集群客户端如何通过AK/SK信息对接OBS。 MRS通过集群内的Guardian组件对接OBS,为其他组件提供获取访问OBS的临时认证凭据、细粒度权限控
add_peer '1','zk1,zk2,zk3:2181:/hbase1' 2181表示集群中ZooKeeper的端口号。 建立主集群与备集群的关系,让其互相对应。 如果启用Bulkload批量写数据容灾还需执行: 在备集群HDFS创建目录“/hbase/replicationConf/主集群hbase
据的应用开发示例,实现数据分析、处理,并输出满足用户需要的数据信息。 另外以MapReduce访问HDFS、HBase、Hive为例,介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 Oozie 开启Kerberos认证集群的样例工程
例所在分片编号shard为2,副本编号replica为1。 本章节详细描述了分片和副本信息的配置说明,具体ClickHouse集群副本之间如何进行数据同步,详见副本机制详细说明。 副本机制 ClickHouse利用ZooKeeper,通过ReplicatedMergeTree引擎(Replicated
mns),然后应用该策略重写数据。 创建一个REPLACE提交,并更新HoodieReplaceCommitMetadata中的元数据。 如何执行Clustering 同步执行Clustering配置。 在写入时加上配置参数: option("hoodie.clustering.inline"
nonEmptyPartitionRatioForBroadcastJoin 两表进行join操作的时候,当非空分区比率低于此配置时,无论其大小如何,都不会被视为自适应执行中广播哈希连接的生成端。只有当spark.sql.adaptive.enabled为true时,此配置才有效。 0
nonEmptyPartitionRatioForBroadcastJoin 两表进行join操作的时候,当非空分区比率低于此配置时,无论其大小如何,都不会被视为自适应执行中广播哈希连接的生成端。只有当spark.sql.adaptive.enabled为true时,此配置才有效。 0
个人私有化数据,避免慢盘隔离时对业务造成影响; 自动触发慢盘隔离动作后,对于原来写两副本数据存在单副本运行的场景,存在一定风险,请知;同时华为侧运维人员会尽快对慢盘进行替换; 慢盘自动隔离能力支持单节点同时出现多个慢盘【默认配置为4】时自动隔离节点,此时该节点会变成隔离状态,客户
mns),然后应用该策略重写数据。 创建一个REPLACE提交,并更新HoodieReplaceCommitMetadata中的元数据。 如何执行Clustering 同步执行Clustering配置。 在写入时加上配置参数: option("hoodie.clustering.inline"
登录Manager,选择“集群 > 服务 > Flink”,在“Flink WebUI”右侧,单击链接,访问Flink的WebUI。 参考如何创建FlinkServer作业,新建Flink SQL作业,作业类型选择“流作业”。在作业开发界面进行如下作业配置并启动作业。 需勾选“基
starting:启动中 terminating:删除中 terminated:已删除 failed:失败 接口约束 无 调用方法 请参见如何调用API。 URI DELETE /v1.1/{project_id}/clusters/{cluster_id} 表1 路径参数 参数
client命令连接,host参数为ELB的私有IP地址。 HTTP 8123 发送http请求到ELB连接ClickHouse场景时配置。 本章节演示如何实现客户端通过ELB访问ClickHouse。具体操作分为以下几个步骤: 步骤一:购买ELB并获取其私有IP地址。 步骤二:添加ELB监听器,配置协议端口。
下面以编写一个AddDoublesUDF为例,说明UDF的编写和使用方法。 功能介绍 AddDoublesUDF主要用来对两个及多个浮点数进行相加,在该样例中可以掌握如何编写和使用UDF。 一个普通UDF必须继承自“org.apache.hadoop.hive.ql.exec.UDF”。 一个普通UDF必须
下面以编写一个AddDoublesUDF为例,说明UDF的编写和使用方法。 功能介绍 AddDoublesUDF主要用来对两个及多个浮点数进行相加,在该样例中可以掌握如何编写和使用UDF。 一个普通UDF必须继承自“org.apache.hadoop.hive.ql.exec.UDF”。 一个普通UDF必须
分区设置操作 Hudi支持多种分区方式,如多级分区、无分区、单分区、时间日期分区。用户可以根据实际需求选择合适的分区方式,接下来将详细介绍Hudi如何配置各种分区类型。 多级分区 多级分区即指定多个字段为分区键,需要注意的配置项: 配置项 说明 hoodie.datasource.write
据的应用开发示例,实现数据分析、处理,并输出满足用户需要的数据信息。 另外以MapReduce访问HDFS、HBase、Hive为例,介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 Presto presto-examples 该样