检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
已安装KafkaManager服务的集群。 获取用户“admin”账号密码。“admin”密码在创建MRS集群时由用户指定。 访问KafkaManager的WebUI 登录集群详情页面,选择“组件管理 > KafkaManager”。 若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的
-3将jstack信息打印到.out日志文件里,从而导致.out日志文件过大。 处理步骤 在每个HBase实例的节点上部署定期清理.out日志文件的定时任务。后台登录HBase的实例节点,在crontab -e中添加每天0点清理.out日志的定时任务。 crontab -e 00 00 * * * for
修改OMS数据库管理员密码 建议管理员定期修改OMS数据库管理员的密码,以提升系统运维安全性。 使用root用户登录主管理节点。 ommdba用户密码不支持在备管理节点修改,否则集群无法正常工作。只需在主管理节点执行修改操作,无需在备管理节点操作。 执行以下命令,切换用户。 sudo
修改集群服务配置参数 用户可通过MRS管理控制台的集群组件配置页面修改各组件的配置参数。 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。 选择“组件管理 > 服务名称 > 服务配置”。 下拉列表默认显示“基础配置”,如果需要修改更多参数,请选择“全部配置”,界面上
全部配置”,可以通过参数“query_log.ttl”和“trace_log.ttl”配置数据清理周期,默认为90天。 MRS 3.3.0之前版本,在ClickHouse客户端给TTL的系统表执行如下语句: alter table system.表名 modify TTL event_date + INTERVAL
lback savepoint -> delete savepoint -> rollback下一个savepoint。 系统响应 可在客户端中查看查询结果。 父主题: Hudi CALL COMMAND语法说明
op => 'run', timestamp => 'xxx'); 注意事项 compaction操作仅支持MOR表。 系统响应 可在客户端中查看查询结果。 父主题: Hudi CALL COMMAND语法说明
如下是代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples的HdfsExample类。 在Linux客户端运行应用和在Windows环境下运行应用的初始化代码相同,代码样例如下所示。 // 完成初始化和认证 confLoad(); authentication();
install gssapi 安装成功后,执行以下命令配置环境变量。 source 客户端安装目录/bigdata_env 执行以下命令认证当前用户。 kinit Kafka用户 kinit命令使用的用户为登录Manager的用户,此用户需要具有Kafka用户组相关权限。 执行Python3
检查OMS配置同集群规模是否匹配。 打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机地址。 以root用户登录告警所在主机,用户密码为安装前用户自定义,请咨询系统管理员。 执行命令su - omm,切换到omm用户。 执行命令vi $BIGDATA
conf”中也添加该配置。 登录 FusionInsight Manager页面,选择“集群 > 服务 > 实例”,勾选3修改配置的FE节点,选择“更多 > 重启实例”重启FE实例,其他实例依旧停止状态不做操作。 观察FE启动后状态,启动成功后,在浏览器中连接此FE,例如,访问地址为“http://192
1/hadoop-yarn/hadoop-yarn-site/NodeManagerCgroups.html MRS 3.2.0及之后版本:https://hadoop.apache.org/docs/r3.3.1/hadoop-yarn/hadoop-yarn-site/NodeManagerCgroups
文本数据的行分隔符。 Hive开源增强特性:支持基于HTTPS/HTTP协议的REST接口切换 WebHCat为Hive提供了对外可用的REST接口,开源社区版本默认使用HTTP协议。 MRS Hive支持使用更安全的HTTPS协议,并且可以在两种协议间自由切换。 Hive开源增强特性:支持开启Transform功能
监控目录的条目数超过系统阈值的90%。 处理步骤 检查系统中是否有不需要的文件。 以root用户登录HDFS客户端,用户密码为安装前用户自定义,请咨询系统管理员。执行cd命令进入客户端安装目录,然后执行source bigdata_env命令设置环境变量。 如果集群采用安全版本,要进行安全认证。
HDFS”,查看HDFS“安全模式”是否为“ON”。 是,执行9。 否,执行12。 以root用户登录HDFS客户端,用户密码为安装前用户自定义,请咨询系统管理员。执行cd命令进入客户端安装目录,然后执行source bigdata_env。 如果集群采用安全版本,要进行安全认证。
配置MRS集群对接Syslog服务器上报告警 登录Manager,进入SNMP配置界面。 MRS 3.x及之后版本 登录FusionInsight Manager。 选择“系统 > 对接 > Syslog”。 开启“Syslog服务”开关。 MRS 3.x之前版本 登录MRS Manager,单击“系统设置”。
Regions”列上Region的个数分布是否均衡。 是,执行20。 否,执行16。 以omm用户登录故障RegionServer节点。 进入客户端安装目录,设置环境变量。 cd 客户端安装目录 source bigdata_env kinit 归属于supergroup用户组或具
warning.threshold HBase客户端一次写入、更新或删除的数据条数阈值,超过此阈值时会记录日志。 增大此参数的值。 hbase.client.scanner.warning.threshold.scanning.ratio HBase客户端单个Scan的Caching过大时(
值使其不在32G-HeapBaseMinAddress和32G的值之间,不包括32G和32G-HeapBaseMinAddress的值。 登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > HBase > 实例”,选择失败实例,选择“更多
对于单独配置数据保存时间的Topic,修改Kafka服务配置页面上配置的数据保存时间不生效。 如果需要对某个Topic单独配置的话,可以使用Kafka客户端命令行,来单独配置该Topic。 例如:kafka-topics.sh --zookeeper “ZooKeeper地址:2181/kafka”