检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
群无需执行用户认证。 kinit 组件业务用户 执行如下命令查询HDFS命令的帮助。 ./hdfs --help 常用客户端命令请参考表1和表2。 更多HDFS命令行参考请参见官网:http://hadoop.apache.org/docs/r3.1.1/hadoop-proje
例如HDFS参数“ipc.client.rpc.timeout”影响所有客户端连接HDFS服务端的RPC超时时间,如果用户需要单独修改Hive连接HDFS的超时时间,可以使用自定义配置项功能进行设置。在Hive的“core-site.xml”文件增加此参数可被Hive服务识别并代替HDFS的设置。
MRS 3.1.0版本集群: 修改LdapServer服务的用户密码为高危操作,需要重启KrbServer和LdapServer服务。重启KrbServer可能会导致集群中的节点短时间内出现执行id命令查询不到用户的现象,请谨慎执行。 修改LDAP用户“cn=pg_search_dn,ou=Users
org.I0Itec.zkclient.ZkClient.createPersistent(ZkClient.java:293) 查看对应时间段ZooKeeper审计日志,权限异常。 2018-05-31 09:20:42,421 | ERROR | CommitProcWorkThread-1
录并单击“移动”完成移动。 复制:表示复制选中的文件或目录。 更改权限:表示修改选中目录或文件的访问权限。 可以为属主、属组和其他用户设置“读取”、“写”和“执行”权限。 “易贴”表示禁止HDFS的管理员、目录属主或文件属主以外的用户在目录中移动文件。 “递归”表示递归设置权限到子目录。
5 yarn.app.mapreduce.am.umbilical.retry.interval AM作业保留特性中,运行的容器尝试恢复的时间间隔。单位:毫秒。 10000 yarn.resourcemanager.am.max-attempts ApplicationMaste
执行ping命令,查看HiveServer所在主机与ZooKeeper、HDFS、Yarn和DBService服务所在主机的网络连接是否正常。(获取ZooKeeper、HDFS、Yarn和DBService服务所在主机的IP地址的方式和获取HiveServer IP地址的方式相同。) 是,执行7。 否,执行6
到用户的虚拟机出现以上状态的时候,发送通知给对应用户。 创建主题 主题是消息发布或客户端订阅通知的特定事件类型。它作为发送消息和订阅通知的信道,为发布者和订阅者提供一个可以相互交流的通道。 登录管理控制台。 单击“服务列表”选择“管理与监管 > 消息通知服务”。 进入消息通知服务页面。
5 yarn.app.mapreduce.am.umbilical.retry.interval AM作业保留特性中,运行的容器尝试恢复的时间间隔。单位:毫秒。 10000 yarn.resourcemanager.am.max-attempts ApplicationMaste
单击“添加角色”,输入“角色名称”和“描述”。 设置角色“配置资源权限”请参见表1。 设置HDFS目录的读和执行权限。 选择“待操作集群的名称 > HDFS > 文件系统 > hdfs://hacluster/ > user”,在“hive”的“权限”列,勾选“读”和“执行”。 选择“待操作集群的名称
access.log”、“error.log”、“runcpserver.log”和“hue-audits.log”大小超过5MB的时候,会自动压缩。最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。 表1 Hue日志列表 日志类型 日志文件名 描述 运行日志
升级安装失败或者重试后仍然失败,不能直接回滚,请联系运维人员。 修改配置 支持HDFS单副本检测能力 在MRS 3.1.0.0.2补丁以及之后的补丁中,会增加HDFS单副本检测和告警能力,新增是否允许写入单副本数据配置项“dfs.single.replication.enable”,对于新建集群该值配置为“false
“Copy”:表示复制选中的文件或目录。 “Change permissions”:表示修改选中目录或文件的访问权限。 可以为属主、属组和其他用户设置“Read”、“Write”和“Excute”权限。 “Sticky”表示禁止HDFS的管理员、目录属主或文件属主以外的用户在目录中移动文件。 “R
bloom.index.prune.by.ranges 为true时,从文件框定信息,可以加快索引查找的速度。 如果键具有单调递增的前缀,例如时间戳,则特别有用。 true hoodie.bloom.index.use.caching 为true时,将通过减少用于计算并行度或受影响分
ickHouse业务用户关联,具体请参见添加MRS租户章节。 配置ClickHouse SQL防御使用约束 防御规则默认动态生效时间为1分钟。 拦截和熔断规则会中断SQL查询,请根据实际业务配置合理的值。 ClickHouse相关规则配置后,需要重新登录客户端生效。 配置ClickHouse
登录MRS控制台或FusionInsight Manager界面。 重启相关组件,可以采用重启集群或者重启组件方式。 方式一(推荐):重启集群,建议在业务空闲时间重启。 在FusionInsight Manager界面,选择“集群 > 概览 > 更多”,重启集群或者滚动重启集群,具体操作请参考重启MRS集群。
ver服务。 多主实例模式相比主备模式的HA方案,优势主要体现在对以下两种场景的改进。 主备模式下,当发生主备切换时,会存在一段时间内服务不可用,该时间JDBCServer无法控制,取决于Yarn服务的资源情况。 Spark中通过类似于HiveServer2的Thrift JDB
常的mutation任务。 业务写入压力过大导致merge速度小于insert速度。 可以用以下SQL语句检查报错节点最近一小时的写入条数和频次: select tables,written_rows,count() from system.query_log where type='QueryFinish'
常的mutation任务。 业务写入压力过大导致merge速度小于insert速度。 可以用以下SQL语句检查报错节点最近一小时的写入条数和频次: select tables,written_rows,count() from system.query_log where type='QueryFinish'
是,执行3.d。 否,执行4。 使用告警出现日期之前的备份包进行LdapServer恢复和OMS恢复。 必须使用同一时间点的OMS和LdapServer备份数据进行恢复,否则可能造成业务和操作失败。当业务正常时需要恢复数据,建议手动备份最新管理数据后,再执行恢复数据操作,否则会