检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager主机管理界面查看。 执行以下命令进入“ ${BIGDATA_HOME}/om-server/om/sbin/”目录。 su - omm cd ${BIGDATA_HOME}/om-server/om/sbin/ 执行“sh status-oms.sh”命令,执行status-oms
2017-12-09 04:10:51,000 INFO (floatip) Read from ${BIGDATA_HOME}/om-server_*/om/etc/om/routeSetConf.ini,value is : yes 2017-12-09 04:10:51,000 INFO
Manager浮动IP节点,执行sh ${BIGDATA_HOME}/om-server/om/sbin/status-oms.sh脚本来查看当前Manager的双机信息。 执行sh ${BIGDATA_HOME}/om-server/OMS/workspace0/ha/module/
安全 责任共担 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 更新管理 安全加固 MRS集群保留JDK说明
添加Ranger权限策略 新安装的MRS集群默认安装Ranger服务并启用了Ranger鉴权模型,Ranger管理员可以通过组件权限插件对组件资源的访问设置细粒度的安全访问策略。 目前安全模式集群中支持Ranger的组件包括:HDFS、Yarn、HBase、Hive、Spark2x、Kafka、Storm。
该操作仅适用于MRS 3.x及之后版本。 以omm用户登录主管理节点。 执行以下命令,切换到目录: cd ${BIGDATA_HOME}/om-server/om/ldapserver/ldapserver/local/script 执行以下命令,解锁LDAP用户或管理账户: ./ldapserver_unlockUsers
ris 应用场景 本地CSV文件数据通过StreamLoad导入到Doris,需要写入Doris的数据不重复,通过引入 Unique 数据模型保证 Key 的唯一性。 方案架构 离线数据可以从数据湖加载,也可以直接加载本地文件。从数据湖加载可以使用工具CDM,在没有CDM工具时,
理节点上修改审计日志备份文件数,否则可能造成集群无法正常工作。 执行以下命令,切换目录。 cd ${BIGDATA_HOME}/om-server/om/sbin 执行以下命令,修改审计日志备份文件数。 ./modifyLogConfig.sh -m最大保留个数 OMS备份组件审
grep slapd,查询配置文件位于“${BIGDATA_HOME}/om-0.0.1/”路径下面的LdapServer资源进程是否正常。 判断资源正常有两个标识: 执行sh ${BIGDATA_HOME}/om-0.0.1/sbin/status-oms.sh命令后查看到olda
nger进行鉴权,集群管理员可在服务页面手动停用Ranger鉴权,停用Ranger鉴权后,访问组件资源时系统将继续基于Manager的角色模型进行权限控制。 从历史版本升级的集群,用户访问组件资源时默认不使用Ranger鉴权,集群管理员可在安装了Ranger服务后手动启用Ranger鉴权。
chmod 1770 /opt/Bigdata/tmp 登录主OMS节点,执行以下命令重启OMS。 sh ${BIGDATA_HOME}/om-server/om/sbin/restart-oms.sh 提示以下信息表示命令执行成功: start HA successfully. 等待一段时间后重新登录Manager。
用omm用户登录主OMS节点后,执行如下工具脚本可以获取到修改域名后的“人机”用户密码。 sh ${BIGDATA_HOME}/om-server/om/sbin/get_reset_pwd.sh 密码后缀 user_name 密码后缀为用户设置的参数,如果不指定,则填充为默认值,默认值为“Admin@123”。
HDFS是Hadoop分布式文件系统,具有高容错和高吞吐量的特性,可以部署在价格低廉的硬件上,存储应用程序的数据,适合有超大数据集的应用程序。 MapReduce是一种编程模型,用于大数据集(大于1TB)的并行运算。在MapReduce程序中计算的数据可以来自多个数据源,如Local FileSystem、HDF
例如:TMOUT=600,表示用户无操作600秒后超时退出。 执行以下命令,切换目录。 cd ${BIGDATA_HOME}/om-server/om/tools 执行以下命令,更新集群密钥。 sh updateRootKey.sh 根据界面提示,输入y: The root key
配置MRS集群告警事件消息通知 MRS联合消息通知服务(SMN),采用主题订阅模型,提供一对多的消息订阅以及通知功能,能够实现一站式集成多种推送通知方式(短信和邮件通知)。 在MRS管理控制台,按照集群维度,在集群信息页面的告警页签中能够提供选择是否使能通知服务,只有对应集群开关开启以后,才能实现以下场景的功能:
KEY,只是用来指明底层数据按照指定的列进行排序。 数据模型的选择建议 因为数据模型在建表时就已经确定,且无法修改。所以,选择一个合适的数据模型非常重要。 Aggregate模型可以通过预聚合,极大地降低聚合查询时所需扫描的数据量和查询的计算量,非常适合有固定模式的报表类查询场景。但是该模型对count(*)查询
使用PuTTY工具,以root用户登录该告警的主机地址。 执行命令su - omm,切换至omm用户。 执行sh ${BIGDATA_HOME}/om-server/om/sbin/status-oms.sh,查询当前HA管理的knox资源状态是否正常(normal:状态正常,其他:状态异常)。 是,执行7。
以omm用户登录主管理节点。 执行以下目录,执行“cleanQueuesAndRestartRM.sh”脚本。 cd ${BIGDATA_HOME}/om-server/om/sbin ./cleanQueuesAndRestartRM.sh -c 集群ID “集群ID”为需执行操作集群ID号,可在FusionInsight
KEY,只是用来指明底层数据按照哪些列进行排序。 数据模型的选择建议 因为数据模型在建表时就已经确定,且无法修改。所以,选择一个合适的数据模型非常重要。 Aggregate模型可以通过预聚合,极大地降低聚合查询时所需扫描的数据量和查询的计算量,非常适合有固定模式的报表类查询场景。但是该模型对count(*) 查
x之前版本集群执行命令: sh ${BIGDATA_HOME}/om-0.0.1/sbin/status-oms.sh MRS 3.x及之后版本集群执行命令: sh ${BIGDATA_HOME}/om-server/om/sbin/status-oms.sh 回显信息中“HAAct