检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
加载空的part文件时,app无法显示在JobHistory的页面上 问题 在分组模式下执行应用,当HDFS上的part文件为空时,发现JobHistory首页面上不显示该part对应的app。 回答 JobHistory服务更新页面上的app时,会根据HDFS上的part文件大
集群请参考MRS集群服务对接OBS示例相关章节进行配置。 基于Guardian存算分离管理面作业提交依赖JobGateway模式,不支持Executor模式。 使用存算分离集群。 在具备OBS资源的访问权限后,MRS集群内相关组件可通过客户端访问对应文件资源。 各组件访问OBS配置说明可参考如下内容:
cd 客户端安装目录 source bigdata_env 如果集群已启用Kerberos认证(安全模式),需执行以下命令进行安全认证,如果集群未启用Kerberos认证(普通模式)请跳过该步骤。 kinit 组件业务用户 执行以下命令查看ENABLED表的CLOSED状态的Region:
目录只是举例,请根据实际安装目录修改。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下,“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。(普通模式不涉及) 使用HDFS客户端 安装客户端,详细操作请参考使用MRS客户端。 以客户端安装用户,登录安装客户端的节点。
例如,分割表,压缩模式等。CarbonData具有以下独有的特点: 伴随索引的数据存储:由于在查询中设置了过滤器,可以显著加快查询性能,减少I/O扫描次数和CPU资源占用。CarbonData索引由多个级别的索引组成,处理框架可以利用这个索引来减少需要安排和处理的任务,也可以通
Flume客户端。 已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。 操作步骤 分别生成Flume角色服务端和客户端的证书和信任列表。 以omm用户登录Flume服务端所在节点。进入“${BIGDATA_HOME}/FusionInsight_Porter
系统自动将Master节点标记为主备管理节点,并支持MRS集群管理的高可用特性。如果主管理节点无法提供服务,则备管理节点会自动切换为主管理节点并继续提供服务。 查看Master1节点是否为主管理节点,请参见查看MRS集群主备管理节点。 Core节点 MRS集群工作节点,负责处理和分析数据,并存储过程数据。
> 权限 > 角色”。 单击“添加角色”,然后在“角色名称”和“描述”输入角色名字与描述。 设置角色“配置资源权限”请参见表1。 HBase权限: HBase Scope:对HBase表授权,最小支持设置列的读(R)和写(W)权限。 HBase管理员权限:HBase管理员权限。
uster/hbase/autocorrupt”和“hdfs://hacluster/hbase/MasterData/autocorrupt”目录,当检测到目录下存在文件时产生该告警。 当“/hbase/autocorrupt”和“/hbase/MasterData/autoc
解决异常导致Map数量和Reduce数量都为0时,中断任务问题 解决Hive向量化if语句中Output column number expected to be 0 when isRepeating报错问题 解决Hive向量化if语句中由于数据被覆盖导致数据错误和NPE问题 解决开
admin.acls”和“spark.admin.acls.groups”配置指定Web UI的管理员列表和管理员组列表,由客户端的“spark.ui.view.acls”和“spark.modify.acls.groups”配置指定查看Web UI任务明细的访问者列表和组列表,由客户端的“spark
使用Alluixo Alluixo在HA模式下出现Does not contain a valid host:port authority报错
例如安装目录为“/opt/client”,则执行以下命令: cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 集群认证模式是否为安全模式。 是,执行以下命令进行用户认证: kinit Hive业务用户 否,执行5。 执行以下命令,将需要关联的关系型数据库驱动Jar包上传到HDFS目录下。
jks”证书的导出文件,“-f”配置项是证书和证书库的密码; “flume_cChat.jks”是Flume角色客户端的证书库,“flume_cChat.crt”是“flume_cChat.jks”证书的导出文件,“-g”配置项是证书和证书库的密码; “flume_sChatt.jks”和“flume_cChatt
Core应用,尝试收集大量数据到Driver端,当Driver端内存不足时,应用挂起不退出 Spark应用名在使用yarn-cluster模式提交时不生效 如何采用Java命令提交Spark应用 SparkSQL UDF功能的权限控制机制 由于kafka配置的限制,导致Spark
不断服。 MRS 1.9.0.7补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2
例行维护周期 任务场景 例行维护内容 每天 检查集群服务状态 检查每个服务的运行状态和配置状态是否正常,是否为绿色。 检查每个服务中,角色实例的运行状态和配置状态是否正常,是否为绿色。 检查每个服务中,角色实例的主备状态是否可以正常显示。 检查服务与角色实例的“概览”显示结果是否正常。 检查集群主机状态
克隆包周期集群时默认不自动续费。 磁盘类型为专属分布式存储的集群不允许克隆。 克隆时仅可以修改为更高集群版本,无法克隆创建历史版本集群。 在组件服务配置修改的参数和创建集群时选择的自定义软件配置的参数不会克隆到新集群。 资源池维度的弹性伸缩策略不支持克隆。 克隆集群时克隆作业: 未通过console平台
ore和task三种类型。 约束限制: 节点类型必须为小写字母。 取值范围: 不涉及 默认取值: 不涉及 active_master Boolean 参数解释: 引导操作脚本是否只运行在主Master节点上。 约束限制: 不涉及 取值范围: true:引导操作脚本只运行在主Master节点上。
实例”,查看DBService主节点IP地址信息。 以root用户登录DBService主节点。 compuserdb用户密码不支持在备DBService节点修改。只需在主管理节点执行修改操作,无需在备管理节点操作。 切换到“$DBSERVER_HOME”目录,执行以下命令配置环境变量。 su - omm cd