检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
接受的值是:'never'、'allow'、'try'、'require'(默认值)。 tls_cert_file:证书文件。 tls_key_file:证书密钥文件。 tls_ca_cert_file:CA证书文件。 tls_ca_cert_dir:CA证书所在的目录。 tls_cipher_suite:允许加密套件。
CTION”配置项与HDFS的“hadoop.rpc.protection”配置项的值保持一致。 若待恢复数据非本集群数据,待恢复数据为MRS其他ClickHouse集群的备份数据,还需要满足如下要求: 备份数据集群与待恢复集群MRS版本一致。 备份数据集群与待恢复集群模式一致。
间,可以配置相同的名称。 脚本路径 obs://mrs-samples/xxx.sh 脚本的路径。路径可以是OBS文件系统的路径或虚拟机本地的路径。 OBS文件系统的路径,必须以obs://开头,以.sh结尾。例如:obs://mrs-samples/xxx.sh 虚拟机本地的路径,脚本所在的路径必须以‘/’开头,以
leading JobManager” 使用不同用户执行yarn-session创建Flink集群失败 Flink业务程序无法读取NFS盘上的文件 自定义Flink log4j日志输出级别不生效
创建FlinkServer作业对接JDBC 创建FlinkServer作业写入数据至HBase表 创建FlinkServer作业写入数据至HDFS文件系统 创建FlinkServer作业写入数据至Hive表 创建FlinkServer作业写入数据至Hudi表 创建FlinkServer作业写入数据至Kafka消息队列
的备份数据,还需要满足如下要求: 备份数据集群与待恢复集群MRS版本一致。 备份数据集群与待恢复集群模式一致。 备份数据集群与待恢复集群ClickHouse拓扑一致,包括shard、副本。 待恢复集群ClickHouse磁盘分区数量与磁盘容量需大于等于备份数据集群。 恢复ClickHouse业务数据
在Hive和HDFS中对自己创建的数据库或表拥有完整权限,可直接创建表、查询数据、删除数据、插入数据、更新数据以及授权他人访问表与对应HDFS目录与文件。默认创建的数据库或表保存在HDFS目录“/user/hive/warehouse”。 如果当前组件使用了Ranger进行权限控
检查每个服务中,角色实例的主备状态是否可以正常显示。 检查服务与角色实例的“概览”显示结果是否正常。 检查集群主机状态 检查每个主机当前的运行状态是否正常,是否为绿色。 检查每个主机当前的磁盘使用率、内存使用率和CPU使用率。关注当前内存与CPU使用率是否处于上升趋势。 检查集群告警信息 检
HDFS故障排除 往HDFS写数据时报错“java.net.SocketException” 删除大量文件后重启NameNode耗时长 EditLog不连续导致NameNode启动失败 当备NameNode存储元数据时,断电后备NameNode启动失败 dfs.datanode.data
> 全部配置”。 参数说明 表1 Hive参数说明 参数 参数说明 默认值 hive.auto.convert.join Hive基于输入文件大小将普通join转为mapjoin的开关。 说明: 在使用Hive进行联表查询,且关联的表无大小表的分别(小表数据<24M)时,建议将此
指定表的格式为RCFile(推荐使用)或SequenceFile,加密算法为ARC4Codec。SequenceFile是Hadoop特有的文件格式,RCFile是Hive优化的文件格式。RCFile优化了列存储,在对大表进行查询时,综合性能表现比SequenceFile更优。 set hive.exec
指定表的格式为RCFile(推荐使用)或SequenceFile,加密算法为ARC4Codec。SequenceFile是Hadoop特有的文件格式,RCFile是Hive优化的文件格式。RCFile优化了列存储,在对大表进行查询时,综合性能表现比SequenceFile更优。 set hive.exec
zookeeper的IP和PORT: 可以查看配置文件/opt/client/Spark/spark/conf/hive-site.xml中的配置项spark.deploy.zookeeper.url zookeeper 上存放JDBCServer主节点的IP和PORT: 可以查看配置文件/opt/clien
WebUI,请参考访问FlinkServer WebUI界面。 选择“系统管理 > 导入作业”,进入导入作业页面。 单击“选择”,选择本地Tar文件,单击“确定”,等待导入完成。 上传的本地Tar文件最大支持200M。 导出作业步骤 使用具有FlinkServer管理员权限的用户访问Flink WebUI,请参考访问FlinkServer
dynamic.partition.mode=nonstrict; 动态分区可能导致一个DML语句创建大量的分区,对应创建大量新文件夹,对系统性能可能带来影响。 在文件数量大的情况下,执行一个SQL语句启动时间较长,可以在执行SQL语句之前执行“set mapreduce.input.fileinputformat
指定表的格式为RCFile(推荐使用)或SequenceFile,加密算法为ARC4Codec。SequenceFile是Hadoop特有的文件格式,RCFile是Hive优化的文件格式。RCFile优化了列存储,在对大表进行查询时,综合性能表现比SequenceFile更优。 set hive.exec
指定表的格式为RCFile(推荐使用)或SequenceFile,加密算法为ARC4Codec。SequenceFile是Hadoop特有的文件格式,RCFile是Hive优化的文件格式。RCFile优化了列存储,在对大表进行查询时,综合性能表现比SequenceFile更优。 set hive.exec
Manager,选择“集群 > 服务 > HBase > 配置”,在搜索框中搜索并修改以下参数: fs.coldFS:修改该参数值为OBS文件系统名,例如:obs://OBS并行文件系统名称。 hbase.fs.hot.cold.enabled:该参数值默认为“false”,必须修改为“true”。 fs
id_max”。 若PID使用率超过阈值,则编辑“/etc/sysctl.conf”文件,将“kernel.pid_max”参数值增大为1.c查询到的pid_max值的一倍,若无该参数则请在文件末尾添加。 例如修改参数为“kernel.pid_max=65536”,然后执行以下命令使参数立即生效。
DBService状态正常,组件无法连接DBService DBServer启动失败 浮动IP不通导致DBService备份失败 DBService配置文件丢失导致启动失败