检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置已修改。 查看集群是否存在配置过期的服务,如果存在,需重启对应服务或角色实例使配置生效。也可在保存配置时直接勾选“重新启动受影响的服务或实例。”。 MRS 3.x之前的版本,服务配置参数均支持登录MRS Manager进行修改: 登录MRS Manager。 单击“服务管理”。
修改集群服务配置参数 用户可通过MRS管理控制台的集群组件配置页面修改各组件的配置参数。 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。 选择“组件管理 > 服务名称 > 服务配置”。 下拉列表默认显示“基础配置”,如果需要修改更多参数,请选择“全部配置”,界面上
lete database:操作的数据库名称 ts:操作时间,13位时间戳 table:操作的表名 data:数据增加/删除/修改之后的内容 old:数据修改前的内容或者表修改前的结构定义 sql:DDL操作的SQL语句 def:表创建与表修改的结构定义 xid:事务唯一ID c
MRS支持集群内用户密码的更新,建议管理员定期修改密码,提高系统安全性。 密码更新指导如下所示: 修改系统用户密码:请参见修改admin密码和修改操作系统用户密码。 修改系统内部用户密码 修改默认数据库用户密码 证书更新 MRS集群的CA证书与HA证书均支持更换,如果用户需要将集群默认的证书更换成新的证书,可参考如下指导:
运行Spark应用时修改split值报错 用户问题 在Spark应用下修改split值时报错。 问题现象 用户需要通过修改一个split最大值来实现多个mapper,从而达到提速的目的,但是执行set命令修改Hive的配置时报错。 0: jdbc:hive2://192.168.1
Spout消息缓存数,仅在Acker不为0或者不为null的情况下生效。Spout将发送到下游Bolt的每条消息加入到pending队列,待下游Bolt处理完成并确认后,再从pending队列移除,当pending队列占满时Spout暂停消息发送。增加pending值可提高Spout的每秒消息吞吐量,提高性能,但延时同步增加。
修改MRS角色实例参数 每个单独的角色实例可以修改配置参数在迁移实例到新集群场景或者重新部署相同服务的场景下,集群管理员可以将某服务所有配置数据导入或者导出,实现配置结果的快速复制。 修改配置参数、导出实例配置或导入实例配置时不影响其他实例。 修改MRS角色实例参数对系统的影响
修改HBase表 功能简介 HBase通过org.apache.hadoop.hbase.client.Admin的modifyTable方法修改表信息。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseExample”类
Flink应用执行过程中,netty的设置尤为重要,网络通信的好坏直接决定着数据交换的速度以及任务执行的效率。 操作步骤 以下配置均可在客户端的“conf/flink-conf.yaml”配置文件中进行修改适配,默认已经是相对较优解,请谨慎修改,防止性能下降。 “taskmanager
ntpdate修改时间导致HDFS出现大量丢块 问题背景与现象 用ntpdate修改了集群时间,修改时未停止集群,修改后HDFS进入安全模式,无法启动。 退出安全模式后启动,hfck检查丢了大概1 TB数据。 原因分析 查看NameNode原生页面发现有大量的块丢失。 图1 块丢失
修改OMS数据库管理员密码 建议管理员定期修改OMS数据库管理员的密码,以提升系统运维安全性。 使用root用户登录主管理节点。 ommdba用户密码不支持在备管理节点修改,否则集群无法正常工作。只需在主管理节点执行修改操作,无需在备管理节点操作。 执行以下命令,切换用户。 sudo
keytab通过YARN分发到Spark on YARN的container目录下,因此KafkaClient中对于“keyTab”的配置路径必须为相对jaas.conf的所在路径,例如“./user.keytab”。principal修改为自己创建的用户名及集群域名。 开发思路 接收Kafka中数据,生成相应DStream。
修改HBase表 功能简介 HBase通过org.apache.hadoop.hbase.client.Admin的modifyTable方法修改表信息。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testModifyTable方法中
Ranger界面添加或者修改HBase策略时,无法使用通配符搜索已存在的HBase表 问题 添加HBase的Ranger访问权限策略时,在策略中使用通配符搜索已存在的HBase表时,搜索不到已存在的表,并且在/var/log/Bigdata/ranger/rangeradmin/
ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 告警发生时,不能对集群中的KrbServer和LdapServer用户进行任何操作。例如,无法在MRS Manager页面添加、删除或修改任何用户、用户组或
b文件。“人机”用户第一次登录时需修改密码。(普通模式不涉及) 在修改集群域名后,需要重新下载客户端,以保证客户端配置文件中kerberos.domain.name配置为正确的服务端域名。 使用Kafka客户端 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。
降低当前服务器面临的主要安全风险。 约束与限制 MRS集群的节点的操作系统版本需在HSS的Agent支撑的操作系统列表范围内,才可以安装HSS进行防护。 操作步骤 确认MRS集群的节点镜像的操作系统版本是否在主机安全服务的Agent支撑的操作系统列表范围内。 登录MRS管理控制台。
重启Hive服务失败 用户问题 修改Hive服务配置后,保存配置失败,Manager页面Hive服务的配置状态为配置失败。 问题现象 用户A在MRS节点后台上打开了Hive相关配置文件且未关闭,此时用户B在MRS Manager页面的“服务管理”中修改Hive配置项,保存配置并重
创建Topic。 在服务端配置用户创建topic的权限。 将Kafka的Broker配置参数“allow.everyone.if.no.acl.found”的值修改为“true”,如图1所示。配置完后重启Kafka服务。 图1 配置用户创建topic的权限 用户使用Linux
下载”。 在“服务”中勾选待操作集群的“ClickHouse”。 在“主机”中选择异常的主机,单击“确定”。 单击右上角的时间编辑按钮,设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警