检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
磁盘分区说明如表1所示。 表1 MRS集群节点OS盘分区说明 分区类型 分区目录 容量 用途 OS分区 / 220GB 操作系统根分区目录和程序存放目录,包括了所有目录(除去下面指定的目录)。 /tmp 10GB 临时文件存放目录。 /var 10GB 操作系统运行目录。 /var/log
目前动态生效不支持关闭,数据源动态生效时间默认为60秒。如需修改动态生效时间,请参考3.e修改“coordinator.config.properties”和“worker.config.properties”中的参数“catalog.scanner-interval”值为需要设定的动态生效时间,例如:
影响,例如会导致HDFS数据同步失败或者结果不准确。 系统性能下降:大数据集群之间的网络互通异常会导致系统性能下降,影响整个数据处理的效率和质量。 可能原因 节点宕机。 网络故障。 处理步骤 确认网络健康状态。 打开FusionInsight Manager页面,在告警列表中,单
<outputPath> 此命令包含了设置参数和提交job的操作,其中<inputPath>指HDFS文件系统中input的路径,<outputPath>指HDFS文件系统中output的路径。 在执行以上命令之前,需要把log1.txt和log2.txt这两个文件上传到HDFS的<
Permissions:Create和select 图3 新增hivedev的访问控制策略 单击“Add”,完成策略添加,依据如上Policy示例,testuser用户组中的testuser用户将对Hive的“test”数据库中的表“table1”的“name”列有Create和select的权限,而对于其他列则没有任何的访问权限。
联该数据库目录的HDFS权限。为了避免产生性能问题,取消表的任意权限,系统不会自动取消数据库目录的HDFS权限,但对应的用户只能登录数据库和查看表名。 如果为角色添加或删除数据库的查询权限,数据库中的表也将自动添加或删除查询权限。此机制为Hive实现,SparkSQL与Hive保持一致。
联该数据库目录的HDFS权限。为了避免产生性能问题,取消表的任意权限,系统不会自动取消数据库目录的HDFS权限,但对应的用户只能登录数据库和查看表名。 若为角色添加或删除数据库的查询权限,数据库中的表也将自动添加或删除查询权限。此机制为Hive实现,SparkSQL与Hive保持一致。
dt.MRSDelegationTokenProvider和com.huawei.mrs.dt.GuardianDTProvider。 com.huawei.mrs.dt.MRSDelegationTokenProvider和com.huawei.mrs.dt.GuardianDTProvider
只能在观察期内,做切换回Capacity调度器的操作。 在观察期内,不允许对资源池、Yarn节点标签(Label)和租户做添加、删除的操作。 如果对资源池、Yarn节点标签(Label)和租户做了添加、删除的操作,切换回Capacity调度器后可能导致资源池或者队列信息不存在,Capacity调度器异常,无法正常运行。
k向Kafka组件发送数据(需要有kafka权限用户),并从Kafka组件获取数据。 确保集群安装完成,包括HDFS、Yarn、Flink和Kafka。 创建Topic。 在服务端配置用户创建topic的权限。 开启Kerberos认证的安全集群将Kafka的Broker配置参数“allow
Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“ZooKeeper”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd>.[编号].log.zip”。最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置 表1 JobGateway日志列表 日志类型 日志文件名 描述 jobserver运行日志 job-gateway.log
<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。默认最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。 表1 Kafka日志列表 日志类型 日志文件名 描述 运行日志 server.log Broker进程的server运行日志。
用户默认密码请参考MRS集群用户账号一览表。 Hive集群系统域名:可以登录Hive集群Manager页面,选择“系统 > 权限 > 域和互信”,查看“本端域”参数获取。 步骤3:创建Doris Catalog并将Hive外表数据写入Doris 登录Doris集群中已安装好MySQL客户端的MRS
停日志) audit: “/var/log/Bigdata/loader/audit”(审计日志) 日志归档规则: Loader的运行日志和审计日志,启动了自动压缩归档功能,默认情况下,当日志大小超过10MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>
针对HBase配置存算分离的场景,在MRS 3.1.2及后续版本中,需参考本章节配置组件数据回收站清理策略。 需为MRS集群预置用户所涉及的回收站目录和其他新增的有防误删需求的用户的回收站目录配置生命周期策略。若委托权限较小或参考配置MRS集群用户的OBS的细粒度访问权限配置了MRS用户访问
停日志) audit: “/var/log/Bigdata/loader/audit”(审计日志) 日志归档规则: Loader的运行日志和审计日志,启动了自动压缩归档功能,默认情况下,当日志大小超过10MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>
<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。默认最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。 表1 Broker日志列表 日志类型 日志文件名 描述 运行日志 server.log Broker进程的server运行日志。
用户默认密码请参考MRS集群用户账号一览表。 Hive集群系统域名:可以登录Hive集群Manager页面,选择“系统 > 权限 > 域和互信”,查看“本端域”参数获取。 步骤4:创建Doris数据表 登录Doris集群中已安装好MySQL客户端的MRS Master节点,执行如下命令进入Doris数据库。