-
常用参数 - MapReduce服务 MRS
Yarn模式特有的特性,并且必须开启Yarn External Shuffle才能使用这个功能。在使用Spark作为一个常驻的服务时候,动态资源调度将大大的提高资源的利用率。例如JDBCServer服务,大多数时间该进程并不接受JDBC请求,因此将这段空闲时间的资源释放出来,将极大的节约集群的资源。 表5
-
配置HBase主备集群容灾 - MapReduce服务 MRS
持大小写字母、数字和下划线(_),长度不超过30。 重启HBase服务并安装客户端。 单击“保存”,保存配置。在弹出的窗口中单击“确定”。重启HBase服务。 在主备集群,选择“集群 > 待操作集群的名称 > 服务 > HBase > 更多 > 下载客户端”,下载客户端并安装。 添加主备集群容灾关系。
-
配置LakeFormation数据连接前准备 - MapReduce服务 MRS
创建对接ECS/BMS云服务委托 登录华为云管理控制台,选择“统一身份认证服务”。 在左侧导航栏选择“委托”,单击右上角的“创建委托”,设置相关参数,单击“下一步”。 参数选择如下: 委托名称:例如“lakeformation_test” 委托类型:选择“云服务” 云服务:选择“ECS
-
配置LakeFormation数据连接前准备 - MapReduce服务 MRS
LakeFormation”。 查看是否弹出服务授权页面,或进入“服务授权”页面查看是否已授权。 是,勾选“同意LakeFormation服务声明”,并单击“同意授权”,为当前服务授权。 否,当前用户已有操作LakeFormation的权限。 父主题: MRS对接LakeFormation云服务
-
配置HBase主备集群容灾 - MapReduce服务 MRS
参数值支持大小写字母、数字和下划线(_),长度不超过30。 重启HBase服务并安装客户端。 单击“保存”,保存配置。在弹出的窗口中单击“确定”。重启HBase服务。 在主备集群,选择“集群 > 服务 > HBase > 更多 > 下载客户端”,下载客户端并安装。 添加主备集群容灾关系。
-
配置MRS多用户访问OBS细粒度权限 - MapReduce服务 MRS
只能包含如下字符:大小写字母、中文、数字、空格和特殊字符(-_.,)。 作用范围 选择全局级服务,OBS为全局服务。 配置策略方式 选择可视化视图。 策略内容 “允许”选择“允许”。 “云服务”选择“对象存储服务 (OBS)”。 “操作”勾选所有“写”、“列表”和“只读”权限。 “特定资源”选择:
-
MRS 1.7.1.6补丁说明 - MapReduce服务 MRS
6补丁安装之后,HBase和Hue的配置状态会变成过期状态,需要手动在MRS Manager页面执行滚动重启HBase服务和Hue服务。具体操作请参考支持滚动重启。 图1 HBase服务和Hue服务状态 新增弹性公网IP访问MRS Manager功能,弹性公网IP使用及注意事项说明参考访问MRS Manager(MRS
-
配置消息通知 - MapReduce服务 MRS
供一个可以相互交流的通道。 登录管理控制台。 单击“服务列表”选择“管理与监管 > 消息通知服务”。 进入消息通知服务页面。 在左侧导航栏,选择“主题管理 > 主题”。 进入主题页面。 在主题页面,单击“创建主题”,开始创建主题。 此时将显示“创建主题”对话框。 在“主题名称”框
-
使用BulkLoad工具向HBase中批量导入数据 - MapReduce服务 MRS
ompact、split操作需要消耗较大的CPU和网络资源,并且RegionServer压力也比较大。 本实践基于华为云MapReduce服务,用于指导您创建MRS集群后,使用BulkLoad方式向HBase中批量导入本地数据,在首次数据加载时,能极大的提高写入效率,并降低对Region
-
创建集群时配置LakeFormation数据连接 - MapReduce服务 MRS
enabled 是否开启使用Guardian。 true 进入Guardian服务“概览”页面,选择“更多 > 重启服务”。 配置Hive对接OBS文件系统。 在FusionInsight Manager界面,选择“集群 > 服务 > Hive > 配置 > 全部配置”。 在左侧的导航列表中选择“HiveServer
-
基于二级索引查询HBase表数据 - MapReduce服务 MRS
mapreduce.TableIndexer -Dtablename.to.index=hbase_sample_table -Dindexspecs.to.add='IDX1=>info:[name->String]' -Dindexnames.to.build='IDX1' 然后用户
-
创建集群时配置LakeFormation数据连接 - MapReduce服务 MRS
enabled 是否开启使用Guardian。 true 进入Guardian服务“概览”页面,选择“更多 > 重启服务”。 配置Hive对接OBS文件系统。 在FusionInsight Manager界面,选择“集群 > 服务 > Hive > 配置 > 全部配置”。 在左侧的导航列表中选择“HiveServer
-
基于二级索引查询HBase表数据 - MapReduce服务 MRS
mapreduce.TableIndexer -Dtablename.to.index=hbase_sample_table -Dindexspecs.to.add='IDX1=>info:[name->String]' -Dindexnames.to.build='IDX1' 然后用户
-
基于二级索引查询HBase表数据 - MapReduce服务 MRS
mapreduce.TableIndexer -Dtablename.to.index=hbase_sample_table -Dindexspecs.to.add='IDX1=>info:[name->String]' -Dindexnames.to.build='IDX1' 然后用户
-
基于二级索引查询HBase表数据 - MapReduce服务 MRS
mapreduce.TableIndexer -Dtablename.to.index=hbase_sample_table -Dindexspecs.to.add='IDX1=>info:[name->String]' -Dindexnames.to.build='IDX1' 然后用户
-
配置Flink认证和加密 - MapReduce服务 MRS
源版本无法代理HTTPS请求,所以无法通过YARN代理访问Flink的原生页面,用户可以在集群的同一个VPC下,创建windows虚拟机,在该虚拟机中访问Flink 原生页面。 表4 参数描述 参数 参数值示例 描述 security.ssl.rest.enabled true
-
MRS 3.1.2-LTS.2版本补丁说明 - MapReduce服务 MRS
解决扩容失败HOSTS_OS_PATCH_STATE表IP残留导致后续扩容失败的问题 解决CES监控和Yarn上监控对不上的问题 解决OMS频繁主备倒换的问题 解决查看指定时间段内主机资源概况,监控数据为空,查看失败的问题 解决磁盘监控指标计算不正确的问题 大数据组件 解决Yarn的ResourceManager频繁主备倒换的问题
-
Manager日志清单 - MapReduce服务 MRS
pms_script.log 监控控制日志 config.log 监控配置日志 plugin.log 监控插件运行日志 pms.log 监控日志 ha.log HA运行日志 cep_ha.log CEP的HA监控日志 cep_script.log CEP控制日志 cep.log CEP日志
-
用户账号一览表 - MapReduce服务 MRS
flink/hadoop.<系统域名> 系统随机生成 Flink服务的内部用户。 check_ker_M 系统随机生成 系统内部测试Kerberos服务功能是否正常的用户。 cdl/hadoop.<系统域名> 系统随机生成 CDL服务的内部用户。 clickhouse/hadoop.<系统域名>
-
新增并执行作业 - MapReduce服务 MRS
险,请谨慎操作。 提交HiveScript或HiveSql类型的作业时如需以“obs://”开头格式访问存储在OBS上的文件,请在Hive服务配置页面搜索参数“core.site.customized.configs”,新增OBS的endpoint配置项,参数为“fs.obs.e