检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
分区设置操作 Hudi支持多种分区方式,如多级分区、无分区、单分区、时间日期分区。用户可以根据实际需求选择合适的分区方式,接下来将详细介绍Hudi如何配置各种分区类型。 多级分区 多级分区即指定多个字段为分区键,需要注意的配置项: 配置项 说明 hoodie.datasource.write
分区设置操作 Hudi支持多种分区方式,如多级分区、无分区、单分区、时间日期分区。用户可以根据实际需求选择合适的分区方式,接下来将详细介绍Hudi如何配置各种分区类型。 多级分区 多级分区即指定多个字段为分区键,需要注意的配置项: 配置项 说明 hoodie.datasource.write
直接重启耗时约5分钟。 滚动重启 滚动重启不影响业务。 滚动重启耗时约10分钟。 HDFS 直接重启 重启期间无法进行HDFS读写,影响上层组件与作业。 直接重启耗时约10分钟。 滚动重启 滚动重启不影响业务。 滚动重启10节点耗时约40分钟。 HBase 直接重启 重启期间无法进行HBase数据读写。
0及之后版本。 背景信息 获取ClickHouse开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 前提条件 确保本地PC的时间与集群的时间差要小于5分钟,若无法确定,请联系系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。 操作场景
0及之后版本。 背景信息 获取ClickHouse开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 前提条件 确保本地PC的时间与集群的时间差要小于5分钟,若无法确定,请联系系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。 操作场景
dirs配置值。 执行如下命令查看命令输出的Filesystem信息: df -h log.dirs配置值 执行结果如下: Filesystem所在的分区与“%util”指标比较高的分区相匹配,则考虑在空闲的磁盘上规划Kafka分区,并将log.dirs设置为空闲磁盘目录,然后参考3,对Topi
~`!?,.;-_'(){}[]/<>@#$%^&*+|\=。 不可和用户名相同或用户名的倒序字符相同。 不可以为常见的易破解密码。 不可与最近N次使用过的密码相同,N为密码策略配置中“重复使用规则”的值。 单击“确定”完成密码修改,使用新密码重新登录Manager页面。 通过集群节点修改admin用户密码(MRS
7运行时,使用yarn-client模式向服务端提交Spark任务。 Oracle JDK需进行安全加固,具体操作如下。 到Oracle官方网站获取与JDK版本对应的JCE(Java Cryptography Extension)文件。JCE文件解压后包含“local_policy.jar”和“US_export_policy
该功能仅适用于MRS 3.5.0及之后版本集群。 前提条件 已创建包含Doris服务的集群,集群内各服务运行正常。 待连接Doris数据库的节点与MRS集群网络互通。 已安装MySQL客户端,相关操作可参考使用MySQL客户端连接Doris。 开启Doris慢查询功能 登录FusionInsight
的时间。 表分区个数 Hive所有表分区个数监控,返回值的格式为:数据库#表名,表分区个数。 HQL的Map数 Hive周期内执行的HQL与执行过程中调用的Map数统计,展示的信息包括:用户、HQL语句、Map数目。 HQL访问次数 周期内HQL访问次数统计信息。 Kafka Kafka磁盘使用率分布
导入并配置ClickHouse样例工程 背景信息 获取ClickHouse开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 前提条件 确保本地环境的时间与MRS集群的时间差要小于5分钟,若无法确定,请联系系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。 已
执行join操作时localtask启动失败 问题背景与现象 执行join等操作,数据量较小时,会启动localtask执行,执行过程会报错: jdbc:hive2://10.*.*.*:21066/> select a.name ,b.gender from student a
导入并配置ClickHouse样例工程 背景信息 获取ClickHouse开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 前提条件 确保本地环境的时间与MRS集群的时间差要小于5分钟,若无法确定,请联系系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。 已
内存不足导致HDFS NameNode启动失败 问题背景与现象 场景一:重启HDFS服务后,HDFS的状态为Bad,且NameNode实例状态异常,并且很久没有退出安全模式。 场景二:NameNode启动时,启动超时后启动失败,原生页面无法打开。 原因分析 在NameNode运行
rce速度指标”,检查告警中的Source速度是否为0。 是,执行2.a。 否,处理完毕。 检查Flume Source配置的IP所在节点与故障节点的网络状态。 确认Flume Source是否是avro类型。 是,执行2.c。 否,执行3。 登录故障节点所在主机,执行以下命令切换root用户。
DK/jdk-8u18/bin/java: No such file or directory 解决办法 适当调大堆内存(xmx)的值。 与正常启动Flume的节点进行文件和文件夹权限对比,更改错误文件或文件夹权限。 重新配置JAVA_HOME。 客户端替换“${install_
其中“<server_IP>:<server_Port>”是指定JDBCServer节点的URL。 “CLIENT_HOME”是指客户端路径。 多主实例模式与非多主实例模式两种模式的JDBCServer接口相比,除连接方式不同外其他使用方法相同。由于Spark JDBCServer是Hive中的H
Storm业务拓扑配置GC参数不生效 问题背景与现象 业务拓扑代码中配置参数topology.worker.childopts不生效,关键日志如下: [main] INFO b.s.StormSubmitter - Uploading topology jar /opt/jar/example
直接重启耗时约5分钟。 滚动重启 滚动重启不影响业务。 滚动重启耗时约10分钟。 HDFS 直接重启 重启期间无法进行HDFS读写,影响上层组件与作业。 直接重启耗时约10分钟。 滚动重启 滚动重启不影响业务。 滚动重启10节点耗时约40分钟。 HBase 直接重启 重启期间无法进行HBase数据读写。
quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。 在网络拥塞的情况下,您还可以设置客户端与JDBCServer连接的超时时间,可以避免客户端由于无限等待服务端的返回而挂起。使用方式如下: 在执行“DriverManager.get