检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
-Dmapreduce.job.hdfs-servers 如果对接了OBS,而服务端依然使用HDFS,那么需要显式在命令行使用该参数指定HDFS的地址。格式为hdfs://{NAMESERVICE}。其中{NAMESERVICE}为hdfs nameservice名称。
一种模块类型只能配置一个数据连接,如在Hive元数据上配置了数据连接后,不能再配置其他的数据连接。当没有可用的模块类型时,“配置数据连接”按钮不可用。
consumer实际上是靠存储在zk中的临时节点来表明针对哪个topic的那个partition拥有读权限的。所在路径为:/consumers/consumer-group-xxx/owners/topic-xxx/x。
50% broker上用户连接数使用率 38011 Broker上用户连接数使用率超过设定阈值 当同一个用户连接数太多时,产生告警的用户将无法与Broker建立新的连接。
进程运行异常日志 记录导致进程运行时错误的错误信息,如输入对象为空、编解码失败等错误。 进程运行环境信息日志 记录进程运行环境的信息,如资源状态、环境变量等。 脚本日志 记录脚本执行的过程信息。 资源回收日志 记录资源回收的过程信息。
将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。
在滚动重启HBase服务时候,如果原生界面上每个RegionServer上每秒的请求数超过10000,需要增大handle数来预防重启过程中负载过大导致的RegionServer重启失败。
MRS Manager的主备管理节点默认安装在集群Master节点上。在主备模式下,由于Master1和Master2之间会切换,Master1节点不一定是MRS Manager的主管理节点,需要在Master1节点中执行命令,确认MRS Manager的主管理节点。
将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。
设置为正数时,将周期性的间隔这段时间以后对HDFS上的container聚合日志进行扫描。 说明: 当时间设置太短时,有可能会增加NameNode的负担,建议根据实际情况设置一个合理的时间。
csv.ignore-parse-errors' = 'true',--如果是json数据格式,设置'json.ignore-parse-errors' = 'true' 'properties.sasl.kerberos.service.name' = 'kafka',--普通模式集群不需要该参数,同时删除上一行的逗号
注意运行distcp命令前,需要将srclist文件上传到HDFS上。 hdfs://cluster1/foo/a hdfs://cluster1/foo/b update和overwrite选项的用法。
将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。
/var/log/Bigdata/clickhouse/clickhouseServer/backup.log ClickHouse在Manager上执行备份恢复操作的日志文件路径。
MRS Manager的主备管理节点默认安装在集群Master节点上。在主备模式下,由于Master1和Master2之间会切换,Master1节点不一定是MRS Manager的主管理节点,需要在Master1节点中执行命令,确认MRS Manager的主管理节点。
注意运行distcp命令前,需要将srclist文件上传到HDFS上。 hdfs://cluster1/foo/a hdfs://cluster1/foo/b update和overwrite选项的用法。
如果需要停止Balance任务,请执行以下命令: bash /opt/client/HDFS/hadoop/sbin/stop-balancer.sh 如果只需要对部分节点进行数据均衡,可以在脚本上加上-include参数指定要移动的节点。具体参数使用方法,可通过命令行查看。
MRS Manager的主备管理节点默认安装在集群Master节点上。在主备模式下,由于Master1和Master2之间会切换,Master1节点不一定是MRS Manager的主管理节点,需要在Master1节点中执行命令,确认MRS Manager的主管理节点。
设置为正数时,将周期性的间隔这段时间以后对HDFS上的container聚合日志进行扫描。 说明: 当时间设置太短时,有可能会增加NameNode的负担,建议根据实际情况设置一个合理的时间。
请前往IAM,单击“委托”按钮,进入委托页面,将鼠标放置委托名称上,在弹窗中获取委托唯一标识码。获取方法,请参见获取委托名称和ID。