检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
r_{timestamp}_{processId}/copier.log 参考集群内ClickHouseServer节点间数据迁移使用迁移工具时产生的运行日志。 /var/log/Bigdata/clickhouse/migration/数据迁移任务名/clickhouse-co
great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted
polygon连接查询 IN_POLYGON_JOIN(GEO_HASH_INDEX_COLUMN, POLYGON_COLUMN) 两张表做join查询,一张表为空间数据表(有经纬度列和GeoHashIndex列),另一张表为维度表,保存polygon数据。 查询使用IN_POLYGON_JOIN
提供Yarn服务。 容器减少,集群性能可能下降。 可能原因 NodeManager节点所在主机的硬盘空间不足。 NodeManager节点本地目录omm用户无访问权限。 处理步骤 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。
datasource.hive_sync.partition_extractor_class", "org.apache.hudi.hive.MultiPartKeysValueExtractor"). option("hoodie.datasource.hive_sync.table", "hudi_test")
--entirelineascommand=false -e "use default;show tables;"命令。 方法二: 在Hive客户端如“/opt/Bigdata/client/Hive”目录下修改component_env文件,修改export CLIENT_HIVE_
如何取消MRS集群风险告警的消息通知? 登录MRS服务控制台。 单击集群名称进入集群详情页面。 选择“告警管理 > 消息订阅规则”。 在待修改的规则所在行的“操作”列单击“编辑”,在“订阅规则”中取消对应风险告警。 单击“确定”完成修改。 父主题: 集群管理类
BO。 spark.sql.cbo.joinReorder.enabled : true,默认为false,修改为true开启连接重排序。 若使用客户端提交任务,“spark.sql.cbo.enabled”、“spark.sql.cbo.joinReorder.enabled”、“spark
BO。 spark.sql.cbo.joinReorder.enabled : true,默认为false,修改为true开启连接重排序。 如果使用客户端提交任务,“spark.sql.cbo.enabled”、“spark.sql.cbo.joinReorder.enabled”、“spark
本章节仅适用于MRS 3.2.0及之后版本。 配置场景 通过配置如下参数可以实现Executor退出时执行自定义代码。 配置参数 在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 参数 说明 默认值 spark.executor.execute.shutdown
eicloudsdk/org/apache/hive/hcatalog/hive-hcatalog-core/源下的jar包替换到mrs客户端的hcatalog的目录下,并重命名之前的同名hcatalog的jar包。如图302002就是替换后的包,310001-SNAPSHOT.jar
“RATE”:使用按空闲Slot比率为优先级的调度机制 AVERAGE nimbus.thrift.threads 设置主用Nimbus对外提供服务时的最大连接线程数。当Storm集群规模较大,Supervisor实例数量较多时,需要增加线程数。 512 父主题: 使用Storm
OpenTSDB是一个基于HBase的分布式、可伸缩的时间序列数据库。OpenTSDB的设计目标是用来采集大规模集群中的监控类信息,并可实现数据的秒级查询,解决海量监控类数据在普通数据库中查询存储的局限性。 OpenTSDB使用场景有如下几个特点: 采集指标在某一时间点具有唯一值,没有复杂的结构及关系。 监控的指标具有随着时间不断变化的特点。
拼接转换 概述 “拼接转换”算子,将已有字段的值通过连接符拼接,生成新的字段。 输入与输出 输入:需要拼接的字段 输出:拼接后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出字段名 配置拼接后的字段名。 string 是 无 分隔符 配置拼接符,可为空。
加速TTL操作 ClickHouse触发TTL的时候,对CPU和内存会存在较大消耗和占用。 登录FusionInsight Manager界面,选择“集群 > ClickHouse > 配置 > 全部配置 > ClickHouseServer > 自定义 > clickhouse
directory"配置选项设置成自定义目录时,需要手动赋予用户该目录的owner权限。以下以FusionInsight的admin用户为例。 修改Flink客户端配置文件conf/flink-conf.yaml,配置blob.storage.directory: /home/testdir/testdirdir/xxx。
创建Configuration 功能介绍 HBase通过加载配置文件来获取配置项,包括用户登录信息配置项。 代码样例 下面代码片段在com.huawei.bigdata.hbase.examples包中。 调用类TestMain下的init()方法会初始化Configuration对象:
服务配置,否则Zookeeper会因为znode等资源不足,导致ClickHouse服务异常,后台任务异常。 调整Zookeeper配置:登录FusionInsight Manager界面,选择“集群 > Zookeeper > 配置 > 全部配置 > quorumpeer >
服务配置,否则Zookeeper会因为znode等资源不足,导致ClickHouse服务异常,后台任务异常。 调整Zookeeper配置:登录FusionInsight Manager界面,选择“集群 > Zookeeper > 配置 > 全部配置 > quorumpeer >
I性能和稳定性更好。 /** * 参数解析: * <groupId>为客户的组编号。 * <brokers>为获取元数据的Kafka地址。 * <topic>为Kafka中订阅的主题。 */ public class JavaDstreamKafkaWriter {