检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行ping命令,查看HiveServer所在主机与ZooKeeper、HDFS、Yarn和DBService服务所在主机的网络连接是否正常。(获取ZooKeeper、HDFS、Yarn和DBService服务所在主机的IP地址的方式和获取HiveServer IP地址的方式相同。) 是,执行7。 否,执行6
MRS 3.1.0版本集群: 修改LdapServer服务的用户密码为高危操作,需要重启KrbServer和LdapServer服务。重启KrbServer可能会导致集群中的节点短时间内出现执行id命令查询不到用户的现象,请谨慎执行。 修改LDAP用户“cn=pg_search_dn,ou=Users
群无需执行用户认证。 kinit 组件业务用户 执行如下命令查询HDFS命令的帮助。 ./hdfs --help 常用客户端命令请参考表1和表2。 更多HDFS命令行参考请参见官网:http://hadoop.apache.org/docs/r3.1.1/hadoop-proje
产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 资源组排队超过阈值可能导致大量任务处于排队状态,presto任务时间超过预期,当资源组排队数超过该组最大排队数(maxQueued)时,会导致新的任务无法执行。 可能原因 资源组配置不合理或该资源组下提交的任务过多。
升级安装失败或者重试后仍然失败,不能直接回滚,请联系运维人员。 修改配置 支持HDFS单副本检测能力 在MRS 3.1.0.0.2补丁以及之后的补丁中,会增加HDFS单副本检测和告警能力,新增是否允许写入单副本数据配置项“dfs.single.replication.enable”,对于新建集群该值配置为“false
5 yarn.app.mapreduce.am.umbilical.retry.interval AM作业保留特性中,运行的容器尝试恢复的时间间隔。单位:毫秒。 10000 yarn.resourcemanager.am.max-attempts ApplicationMaste
access.log”、“error.log”、“runcpserver.log”和“hue-audits.log”大小超过5MB的时候,会自动压缩。最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。 表1 Hue日志列表 日志类型 日志文件名 描述 运行日志
录并单击“移动”完成移动。 复制:表示复制选中的文件或目录。 更改权限:表示修改选中目录或文件的访问权限。 可以为属主、属组和其他用户设置“读取”、“写”和“执行”权限。 “易贴”表示禁止HDFS的管理员、目录属主或文件属主以外的用户在目录中移动文件。 “递归”表示递归设置权限到子目录。
org.I0Itec.zkclient.ZkClient.createPersistent(ZkClient.java:293) 查看对应时间段ZooKeeper审计日志,权限异常。 2018-05-31 09:20:42,421 | ERROR | CommitProcWorkThread-1
ver服务。 多主实例模式相比主备模式的HA方案,优势主要体现在对以下两种场景的改进。 主备模式下,当发生主备切换时,会存在一段时间内服务不可用,该时间JDBCServer无法控制,取决于Yarn服务的资源情况。 Spark中通过类似于HiveServer2的Thrift JDB
单击“添加角色”,输入“角色名称”和“描述”。 设置角色“配置资源权限”请参见表1。 设置HDFS目录的读和执行权限。 选择“待操作集群的名称 > HDFS > 文件系统 > hdfs://hacluster/ > user”,在“hive”的“权限”列,勾选“读”和“执行”。 选择“待操作集群的名称
bloom.index.prune.by.ranges 为true时,从文件框定信息,可以加快索引查找的速度。 如果键具有单调递增的前缀,例如时间戳,则特别有用。 true hoodie.bloom.index.use.caching 为true时,将通过减少用于计算并行度或受影响分
ickHouse业务用户关联,具体请参见添加MRS租户章节。 配置ClickHouse SQL防御使用约束 防御规则默认动态生效时间为1分钟。 拦截和熔断规则会中断SQL查询,请根据实际业务配置合理的值。 ClickHouse相关规则配置后,需要重新登录客户端生效。 配置ClickHouse
不涉及 started_time Long 参数解释: 作业开始执行时间。单位:毫秒。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 submitted_time Long 参数解释: 作业提交时间。单位:毫秒。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及
access.log”、“error.log”、“runcpserver.log”和“hue-audits.log”大小超过5MB的时候,会自动压缩。最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。 表1 Hue日志列表 日志类型 日志文件名 描述 运行日志
登录MRS控制台或FusionInsight Manager界面。 重启相关组件,可以采用重启集群或者重启组件方式。 方式一(推荐):重启集群,建议在业务空闲时间重启。 在FusionInsight Manager界面,选择“集群 > 概览 > 更多”,重启集群或者滚动重启集群,具体操作请参考重启MRS集群。
5 yarn.app.mapreduce.am.umbilical.retry.interval AM作业保留特性中,运行的容器尝试恢复的时间间隔。单位:毫秒。 10000 yarn.resourcemanager.am.max-attempts ApplicationMaste
false dfs.mover.auto.cron.expression HDFS执行自动数据迁移的CRON表达式,用于控制数据迁移操作的开始时间。仅当dfs.mover.auto.enable设置为true时才有效。默认值“0 * * * *”表示在每个整点执行任务。表达式的具体含义可参见表2。
/setNorthBound.sh -t 信息类型 -i 远程服务器IP -p 服务器使用的SFTP或FTP端口 -u 用户名 -d 保存信息的路径 -c 时间间隔(分钟) -m 每个保存文件的信息记录数 -s 备份启停开关 -e 指定的协议 例如: ./setNorthBound.sh -t alarm
Doris支持查询的Hudi表类型 Doris支持的Hudi表类型和对应的查询类型如下: COW表:支持Snapshot Query和TimeTravel Query。 MOR表:支持Snapshot Query、TimeTravel Query和Read Optimized Query。 以下操作以使用TimeTravel