检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
服务创建策略及委托。 配置OBS权限控制映射关系 在MRS控制台,选择“现有集群”并单击集群名称。 在“概览”页签的基本信息区域,单击“OBS权限控制”右侧的“单击管理”。 单击“添加映射”,并参考表1配置相关参数。 表1 添加OBS权限控制映射关系 参数 说明 IAM委托 选择2中创建的委托。
查看MRS云服务操作日志 MRS管理控制台中记录了用户对MRS集群和作业的操作信息。日志信息常用于集群运行异常时的问题定位,帮助用户快速定位问题原因,以便及时解决问题。 目前MRS记录以下操作类型的日志信息: 集群操作 在管理控制台创建集群、删除集群、扩容集群和缩容集群等。 在管理控制台创建目录、删除目录和删除文件。
MRS是否支持变更MRS集群节点? MRS管理控制台不支持变更集群节点,也不建议用户在ECS管理控制台直接修改MRS集群节点。 如果手动在ECS管理控制台对集群节点执行停止ECS、删除ECS、修改或重装ECS操作系统,以及修改ECS规格的操作,可能影响集群稳定运行。 如果您对MR
审计与日志 审计 MRS服务在管理控制台上的操作日志,例如创建或删除MRS集群的日志记录,通过云审计服务(Cloud Trace Service,CTS)实现。CTS是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规
整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限 。 Ranger架构如图1所示 图1 Ranger结构 表1 结构图说明 名称
配置Hive表、列或数据库的用户权限 操作场景 使用Hive表或者数据库时,如果用户访问别人创建的表或数据库,需要授予对应的权限。为了实现更严格权限控制,Hive也支持列级别的权限控制。如果要访问别人创建的表上某些列,需要授予列权限。以下介绍使用Manager角色管理功能在表授权、列授权和数据库授权三个场景下的操作。
务提供统一的集群管理能力。 MRS管理控制台与MRS集群Manager页面的区别和联系请参考表1。 表1 MRS管理控制台与Manager区别说明 常用操作 MRS管理控制台 MRS集群Manager 切换子网、添加安全组规则、OBS权限控制、管理委托、IAM用户同步 支持 不支持
/opt/Bigdata/client 执行以下命令,配置环境变量。 source bigdata_env 执行以下命令,输入kadmin/admin用户密码后进入kadmin控制台。 kadmin -p kadmin/admin kadmin/admin的默认密码为“Admin@123”,首次登录后需修改密码,请按照提示修改并妥善保存。
Hive中会默认限制最大动态分区数,由“hive.exec.max.dynamic.partitions”参数控制(默认值为1000)。 如果超过此限制,Hive将不会创建新的动态分区。 处理步骤 调整上层业务,将动态分区数控制在“hive.exec.max.dynamic.partitions”参数值范围内。
Manager MRS Manager支持监控、配置和管理MRS集群,用户可以在MRS控制台页面打开Manager管理页面。 本章节介绍如何打开MRS Manager方法。 登录MRS Manager 登录MRS管理控制台页面。 在“现有集群” 列表,单击指定的集群名称,进入集群信息页面。 单击“点击管理”,打开“访问MRS
在Ranger中配置HBase的访问权限 在创建完安装了Ranger组件的MRS集群后,HBase的权限控制暂未集成在Ranger,本章节主要介绍HBase组件如何集成在Ranger中。 登录Ranger WebUI界面。 在“Service Manager”中的HBASE处,单击添加HBase
Impala启用并配置动态资源池 本文介绍如何使用动态资源池控制impala并发。 问题背景 客户需要使用动态资源池控制impala并发。 登录到集群的master1节点上,然后切换到omm用户下,在/home/omm目录下创建fair-scheduler.xml、llama-site
成配置后,您可以单击“刷新队列”按钮或者重启Yarn服务使配置生效。 参数入口: MRS 3.x之前的版本集群执行以下操作: 用户在MRS控制台上,选择“租户管理 > 资源分布策略”。 参数说明以default为例,其他队列的配置类似,单击“修改”编辑。 表1 参数说明 配置参数
后,请参见本节操作对隔离主机进行补丁修复。修复完成后,被隔离的主机节点版本将与其他未被隔离的主机节点一致。 MRS 3.x版本不支持在管理控制台执行本章节操作,本章节仅适用于3.x之前的版本。 访问MRS Manager,详细操作请参见访问MRS集群Manager。 选择“系统设置
Impala启用并配置动态资源池 本文介绍如何使用动态资源池控制impala并发。 问题背景 客户需要使用动态资源池控制impala并发。 登录到集群的master1节点上,然后切换到omm用户下,在/home/omm目录下创建fair-scheduler.xml、llama-site
Flink作业用于提交jar程序处理流式数据。 用户可以在MRS管理控制台在线创建一个作业并提交运行,也可以通过MRS集群客户端来以命令行形式提交作业。 操作视频 本视频以在未开启Kerberos认证的MRS 3.1.0版本集群的管理控制台上,提交用于处理OBS存储的数据的Flink作业为例进行说明。
甚至可以通过注入UserGroupInformation来伪装成任意用户(包括superuser),集群资源管理接口和数据控制接口在服务端无认证和鉴权控制,很容易被黑客利用和攻击。 所以在普通模式下,建议单用户场景下使用,必须通过严格限定网络访问权限来保障集群的安全。 尽量将业
如何获取MRS集群ZooKeeper的IP地址和端口? ZooKeeper的IP地址和端口可以通过MRS控制台或登录Manager界面获取。 方法一:通过MRS控制台获取 在MRS集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步。 选择“组件管理 >
单击“保存配置”,并勾选“重新启动受影响的服务或实例。”重启Hive服务。 添加访问控制策略,即Policy。 登录Ranger WebUI界面。 在HIVE区域单击已添加的服务名称“hivedev”。 单击“Add New Policy”,新增访问控制策略。 参考表2配置参数,未在表中列出的参数请保持默认值。
获取账号ID 在调用接口的时候,部分URL中需要填入账号ID(domain-id),所以需要先在管理控制台上获取到账号ID。账号ID获取步骤如下: 登录管理控制台。 单击用户名,在下拉列表中单击“我的凭证”。 在“API凭证”页面中查看账号ID。 图1 获取账号ID 父主题: 附录