检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置MRS集群审计日志本地备份数 集群组件的审计日志按名称分类,保存在集群各节点“/var/log/Bigdata/audit”,OMS每天凌晨3点自动备份这些审计日志目录。
MRS 3.x及之后版本,Manager最大支持5000个角色(包括系统内置角色,不包括租户自动创建的角色)。 MRS 2.x及之前版本,Manager最大支持的角色数为1000。 添加角色 MRS 3.x及之后版本: 登录Manager,选择“系统 > 权限 > 角色”。
在需导出文件的用户所在行,选择“更多 > 下载认证凭据”,待文件自动生成后指定保存位置,并妥善保管该文件。 认证凭据中会携带kerberos服务的“krb5.conf”文件。 解压认证凭据文件后可以获取两个文件: “krb5.conf”文件包含认证服务连接信息。
开启配置后,执行insert overwrite/into命令插入数据时才自动统计新数据的信息。 在Hive客户端执行以下命令临时开启收集: set hive.stats.autogather = true;开启表/分区级别的统计信息自动收集。
“ID” 表示作业的编号,由系统自动生成。 “Name” 表示作业的名称。 “Application Type” 表示作业的类型。 “Status” 表示作业的状态,包含“RUNNING”、“SUCCEEDED”、“FAILED”和“KILLED”。
开启配置后,执行insert overwrite/into命令插入数据时才自动统计新数据的信息。
样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下图: 配置“长整型时间转换”算子,生成四个新字段C、D、E和F,类型分别为DATE、TIME、TIMESTAMP、BIGINT。 转换后,依次输出,结果如下: 父主题: 转换算子
样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下图: 配置“长整型时间转换”算子,生成四个新字段C、D、E和F,类型分别为DATE、TIME、TIMESTAMP、BIGINT。 转换后,依次输出,结果如下: 父主题: Loader转换类算子
自动部署到节点 是 是否自动部署到节点。客户端类型选择“完整客户端”时,支持配置该参数。 是,客户端会自动在当前节点上安装部署。 否,客户端不会自动安装部署。需要在客户端下载成功后手动进行安装。
告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: MRS集群告警处理参考
告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: MRS集群告警处理参考
kill -9 PID 等待PMS进程自动启动。 PMS启动需要2~3分钟。PMS是监控进程,重启不影响大数据业务。 父主题: 集群管理类
告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: MRS集群告警处理参考
HSBroker HetuEngine的服务管理,用作计算实例的资源管理校验,健康监控与自动维护等。 HSConsole 对外提供数据源信息管理,计算实例管理,自动化任务的查看等功能的可视化操作界面和RESTful接口。 HSFabric 提供跨域(DC)高性能安全数据传输。
告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: MRS集群告警处理参考
创建表有两种方式(强烈建议采用预分Region建表方式): 快速建表,即创建表后整张表只有一个Region,随着数据量的增加会自动分裂成多个Region。 预分Region建表,即创建表时预先分配多个Region,此种方法建表可以提高写入大量数据初期的数据写入速度。
创建表有两种方式(强烈建议采用预分Region建表方式): 快速建表,即创建表后整张表只有一个Region,随着数据量的增加会自动分裂成多个Region。 预分Region建表,即创建表时预先分配多个Region,此种方法建表可以提高写入大量数据初期的数据写入速度。
修改MRS集群Manager路由表 安装FusionInsight Manager时系统会自动在主管理节点上创建2条路由信息,执行ip rule list可以查看。
系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “目的端NameNode IP地址”:填写备集群主NameNode业务平面IP地址。
当OBS readFully接口调用失败数小于阈值时,该告警会自动清除。 告警属性 告警ID 告警级别 是否自动清除 45179 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。