检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
adoop/common/lib)下自带了postgre驱动包gsjdbc4-*.jar,与开源Postgre服务不兼容导致报错。 报错中type为12时:数据库的pg_hba.conf文件配置有误。 解决方案: 报错中type为5时:在每台MRS NodeManager实例所在节点上移动驱动包“gsjdbc4-*
用参数如表1所示。 表1 Hive常用参数说明 参数名称 参数说明 默认值 hive.auto.convert.join Hive基于输入文件大小将普通join转为mapjoin的开关,取值范围为: true false 说明: 在使用Hive进行联表查询,且关联的表无大小表的分
操作步骤 以omm用户登录到需要还原的DBService节点。 执行以下命令恢复DBService的“hacom_local.xml”配置文件: cd $BIGDATA_HOME/FusionInsight_BASE_x.x.x/install/FusionInsight-dbservice-2
UI界面排版优化。 MRS Manager操作及显示易用性优化。 MRS Manager增加大数据服务滚动重启能力。 MRS Manager新增文件句柄数量监控功能。 MRS Manager新增大数据组件发生重启事件上报功能。 MRS镜像 解决ECS VNC登录不停打印输出问题。 解决操作系统日志转储配置问题。
/joboverview/running 与“/ joboverview”相同,Job按状态进行分组,每个Job组都有一个小状态,但只包含当前运行的Job。 /joboverview/completed Job按状态进行分组,每个都有一个小状态的摘要。 与“/ joboverview”相同
<arg>:指定待发送文件的路径。 -ytm,--yarntaskManagerMemory <arg>:为TaskManager设置内存(MB)。 -yz,--yarnzookeeperNamespace <arg>:指定zookeeper的namespace,需与yarn-session
会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件,压缩文件保留个数可以在Manager界面中配置。 表1 HBase日志列表 日志类型 日志文件名 描述 运行日志 hba
/joboverview/running 与“/ joboverview”相同,Job按状态进行分组,每个Job组都有一个小状态,但只包含当前运行的Job。 /joboverview/completed Job按状态进行分组,每个都有一个小状态的摘要。 与“/ joboverview”相同
keytab、hive-site.xml、hbase-site.xml、hiveclient.properties等配置文件放置到工程的“conf”目录下。 在“conf”目录创建“jaas_mr.conf”文件并添加如下内容(test是user.keytab对应的用户名称): Client { com.sun
盘数据。工作方式与HDFS的Balancer工具类似。不同的是,HDFS Balancer工具用于DataNode节点间的数据均衡,而HDFS DiskBalancer用于单个DataNode节点上各磁盘之间的数据均衡。 长时间运行的集群会因为曾经删除过大量的文件,或者集群中的节
志大小超过20MB的时,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”,最多保留最近的20个压缩文件。 表1 Ranger日志列表 日志类型 日志文件名 描述 RangerAdmin运行日志 access_log
并同步来自Active节点的修改。根据修改日志,Standby节点将变动应用到本地文件系统元数据中。一旦发生故障转移,Standby节点能够确保与Active节点的状态是一致的。这保证了文件系统元数据在故障转移时在Active和Standby之间是完全同步的。 为保证故障转移快
系统管理员。 执行ll命令查看对应localdir的文件夹和containerlogs文件夹权限,确认权限是否是“755”,且“用户:属组”是否为“omm:ficommon”。 是,处理完毕。 否,执行9。 执行如下命令将文件夹权限修改为“755”,并将“用户:属组”修改为“omm:ficommon”。
配置Flume非加密传输数据采集任务 生成Flume服务端和客户端的配置文件 使用Flume服务端从本地采集静态日志保存到Kafka 使用Flume服务端从本地采集静态日志保存到HDFS 使用Flume服务端从本地采集动态日志保存到HDFS 使用Flume服务端从Kafka采集日志保存到HDFS
配置Flume非加密传输数据采集任务 生成Flume服务端和客户端的配置文件 使用Flume服务端从本地采集静态日志保存到Kafka 使用Flume服务端从本地采集静态日志保存到HDFS 使用Flume服务端从本地采集动态日志保存到HDFS 使用Flume服务端从Kafka采集日志保存到HDFS
/joboverview/running 与“/ joboverview”相同,Job按状态进行分组,每个Job组都有一个小状态,但只包含当前运行的Job。 /joboverview/completed Job按状态进行分组,每个都有一个小状态的摘要。 与“/ joboverview”相同
会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件,压缩文件保留个数可以在Manager界面中配置。 表1 HBase日志列表 日志类型 日志文件名 描述 运行日志 hba
以omm用户登录主OMS节点。 执行以下命令,查看路径下是否包含后缀为“.mdb”的文件。 ll /srv/BigData/ldapData/oldap/data/ 是,查看并记录“.mdb”文件大小,执行17。 否,执行18。 执行以下命令查看Oldap配置,并记录“Map s
集群内ClickHouseServer节点间数据迁移 迁移MRS集群内ClickHouse数据至其他MRS集群 扩容ClickHouse节点磁盘 通过数据文件备份恢复ClickHouse数据 配置ClickHouse系统表的生命周期 配置ClickHouse默认用户密码(MRS 3.1.2-LTS版本)
服务 > MapReduce > 配置 > 全部配置”,在左侧的导航列表中选择“Mapreduce > 自定义”。在自定义配置项中,给参数文件“core-site.xml”添加配置项“mapreduce.jobhistory.always-scan-user-dir”,设置值为“true”。