检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用客户端安装用户登录客户端所在节点。 执行以下命令,切换到客户端安装目录,如:/opt/client。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 若集群为安全模式,执行以下命令认证用户。 kinit MRS用户名 通过HDFS接口创建<groupid>
iveServer所在节点。 以客户端安装用户,登录1上传了Jar包并且安装了Hive和HDFS客户端的节点。 执行以下命令认证用户。 cd 客户端安装目录 source bigdata_env kinit 具有Hive管理员权限的用户(未开启Kerberos认证的集群跳过此操作)
场景说明 假定用户开发一个应用程序,用于管理企业中的使用A业务的用户信息,如表1所示,A业务操作流程如下: 创建用户信息表。 在用户信息中新增用户的学历、职称等信息。 根据用户编号查询用户姓名和地址。 根据用户姓名进行查询。 查询年龄段在[20–29]之间的用户信息。 数据统计
场景说明 假定用户开发一个应用程序,用于管理企业中的使用A业务的用户信息,如表1所示,A业务操作流程如下: 创建用户信息表。 在用户信息中新增用户的学历、职称等信息。 根据用户编号查询用户姓名和地址。 根据用户姓名进行查询。 查询年龄段在[20-29]之间的用户信息。 数据统计
择“更多 > 重启实例”,输入用户密码后,在弹出窗口单击“确定”。 等待实例重启完成,配置生效。 日志格式 Tez的日志格式如下所示: 表3 日志格式 日志类型 格式 示例 运行日志 <yyyy-MM-dd HH:mm:ss,SSS>|<LogLevel>|<产生该日志的线程名字
产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 无法为基于HDFS服务的HBase和MapReduce等上层部件提供服务。用户无法读写文件。 可能原因 ZooKeeper服务异常。 所有NameService服务异常。 业务请求量过大,HDFS健康检查读写文件异常。
回滚补丁 回滚补丁前检查 回滚补丁 回滚补丁后操作 父主题: MRS 3.2.0-LTS.1.10补丁说明
恢复MRS集群组件数据 恢复Manager数据(MRS 2.x及之前版本) 恢复Manager数据(MRS 3.x及之后版本) 恢复CDL业务数据 恢复ClickHouse元数据 恢复ClickHouse业务数据 恢复DBService元数据 恢复Doris业务数据 恢复Flink元数据
回滚补丁 回滚补丁前检查 回滚补丁 回滚补丁后操作 父主题: MRS 3.3.0-LTS.1.1补丁说明
ALM-45652 Flink服务不可用 本章节适用于MRS 3.3.0及以后版本。 告警解释 告警模块按60秒周期检测Flink服务状态。当检测到Flink服务不可用时产生该告警。Flink服务恢复时,告警恢复。 告警属性 告警ID 告警级别 是否可自动清除 45652 紧急 是
ALM-29000 Impala服务不可用 告警解释 以30s为周期检测Impala服务状态,当检测到Impala服务异常时,系统产生此告警。 当系统检测到Impala服务恢复正常,或告警处理完成时,告警解除。 告警属性 告警ID 告警级别 是否可自动清除 29000 紧急 是 告警参数
如,Region位置、起始RowKey及结束RowKey等信息。 元数据表和用户表的映射关系如图 元数据表和用户表的映射关系所示。 图4 元数据表和用户表的映射关系 数据操作流程 HBase数据操作流程如图 数据操作流程所示。 图5 数据操作流程 对HBase进行增、删、改、查数据操作时,HBase
User:表示该映射关系为针对用户的映射,identifiers中填写用户名称列表。 Group:表示该映射关系为针对用户组的映射,identifiers中填写用户组名称列表。 默认取值: 不涉及 identifiers Array of strings 参数解释: IAM委托映射的用户(组)名称列
设置Hive的配置,格式:define=key=value,如果使用多实例,需要配置实例的scratch dir,如WebHCat实例使用define=hive.exec.scratchdir=/tmp/hive-scratch,WebHCat1实例使用define=hive.exec.scratc
提交作业时系统提示当前用户在Manager不存在如何处理? 问: 安全集群在提交作业时,未进行IAM用户同步,会出现“当前用户在MRS Manager不存在,请先在IAM给予该用户足够的权限,再在概览页签进行IAM用户同步”的错误提示。 答: 在提交作业之前,用户需要先在集群详情页的
内容如下所示: 以客户端安装用户,登录安装客户端的节点。 执行以下命令切换到客户端目录。 cd 客户端安装目录 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,当前用户需要具有创建HBase表的权限和HDFS的操作权限:
假定某个业务Kafka每30秒就会收到5个用户的消费记录。Hbase的table1表存储用户历史消费的金额信息。 现table1表有10条记录,表示有用户名分别为1-10的用户,用户的历史消费金额初始化都是0元。 基于某些业务要求,开发的Spark应用程序实现如下功能: 实时累加计算用户的消费金额信息:即用户总消费金额=用户的消费金额(kafka数据)
hadoop.hive.ql.hooks.ATSHook TezUI数据展示依赖于Yarn组件的TimelineServer实例,如果TimelineServer实例故障或未启动,需设置hive自定义参数yarn-site.xml中yarn.timeline-service.enabl
hadoop.hive.ql.hooks.ATSHook TezUI数据展示依赖于Yarn组件的TimelineServer实例,如果TimelineServer实例故障或未启动,需设置hive自定义参数yarn-site.xml中yarn.timeline-service.enabl
x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > Hive > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 如果集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 MRS