检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表示队列使用的资源池。默认为“default”,如果需要修改为其他资源,需要先配置队列容量,请参见配置资源池的队列容量策略。 单击“确定”完成配置。 MRS 2.x及之前版本集群: 在MRS Manager,单击“租户管理”。 单击“动态资源计划”页签。 单击“队列配置”页签。 在租户队列表格,指定租户队列的“操作”列,单击“修改”。
配置Hive Python样例工程 操作场景 为了运行MRS产品Hive组件的Python接口样例代码,需要完成下面的操作。 操作步骤 客户端机器必须安装有Python,其版本不低于2.6.6,最高不能超过2.7.13。 在客户端机器的命令行终端输入python可查看Python版本号。如下显示Python版本为2
配置Hive Python样例工程 操作场景 为了运行MRS产品Hive组件的Python接口样例代码,需要完成下面的操作。 操作步骤 客户端机器必须安装有Python,其版本不低于2.6.6,最高不能超过2.7.13。 在客户端机器的命令行终端输入python可查看Python版本号。如下显示Python版本为2
配置MRS集群通过Guardian对接OBS 配置Guardian服务对接OBS MRS集群服务对接OBS示例 父主题: 配置MRS集群存算分离
配置Spark数据传输加密 操作场景 本章节指导用户设置Spark安全通道加密,以增强安全性。 该章节仅适用于MRS 3.x及之后版本。 配置Spark数据传输加密 参数修改入口:登录Manager页面,选择“集群 > 服务 > Spark > 配置”,展开“全部配置”页签,在搜索框中输入相关参数名称。
配置MRS集群告警屏蔽状态 配置告警屏蔽状态 如果如下特定场景中不希望看到FusionInsight Manager上报指定的告警,可以手动设置屏蔽。 使用过程中,不想关注某些不重要的告警,屏蔽次要告警。 第三方产品集成MRS集群时,部分告警与产品自身的告警信息重复,屏蔽重复告警。
配置Spark多租户模式 配置场景 多租户模式是将JDBCServer和租户绑定,每一个租户对应一个或多个JDBCServer,一个JDBCServer只给一个租户提供服务。不同的租户可以配置不同的Yarn队列,从而达到资源隔离。 配置描述 登录Manager,选择“集群 > 服务
HDFS > 配置”,展开“全部配置”页签。在搜索框中输入参数名称。 配置后应重启对应服务使参数生效。 表1 参数说明 配置项 描述 默认值 hadoop.rpc.protection 须知: 设置后需要重启服务生效,且不支持滚动重启。 设置后需要重新下载客户端配置,否则HDFS无法提供读写服务。
配置Windows通过EIP访问集群Kafka 操作场景 该章节通过指导用户配置集群绑定EIP,并配置Kafka文件的方法,方便用户可以在本地对样例文件进行编译。 操作步骤 为集群的每个节点申请弹性公网IP,并将本地Windows的hosts文件添加所有节点的公网IP对应主机域名
配置Windows通过EIP访问集群Kafka 操作场景 该章节通过指导用户配置集群绑定EIP,并配置Kafka文件的方法,方便用户可以在本地对样例文件进行编译。 操作步骤 为集群的每个节点申请弹性公网IP,并将本地Windows的hosts文件添加所有节点的公网IP对应主机域名
若要在Linux安装客户端时提交拓扑,只需要将“streaming-site.xml”放入样例工程的“storm-examples\src\main\resources”目录下即可。 安装IntelliJ IDEA和JDK工具后,需要在IntelliJ IDEA配置JDK。 打开IntelliJ
问权限,Hive表读写权限,HBase读写权限以及Yarn的队列提交权限。 已在Linux环境中安装了完整的集群客户端。 获取Oozie服务器URL(任意节点),这个URL将是客户端提交流程任务的目标地址。 URL格式为:https://Oozie节点业务IP:21003/ooz
配置互信MRS集群的用户权限 配置完跨Manager集群互信后,需要在互信的系统上设置访问用户的权限,这样指定的用户才能在互信系统上进行对应的业务操作。 前提条件 已完成跨集群互信配置,然后刷新两个集群的客户端。 配置互信集群的用户权限(MRS 3.x及之后版本) 登录本端系统的FusionInsight
若要在Linux安装客户端时提交拓扑,只需要将“streaming-site.xml”放入样例工程的“storm-examples\src\main\resources”目录下即可。 安装IntelliJ IDEA和JDK工具后,需要在IntelliJ IDEA配置JDK。 打开IntelliJ
查看与配置MRS告警事件 查看MRS集群事件 查看MRS集群告警 配置MRS集群告警阈值 配置MRS集群告警屏蔽状态 配置MRS集群对接SNMP网管平台上报告警 配置MRS集群对接Syslog服务器上报告警 配置定时备份告警与审计信息 开启MRS集群维护模式停止上报告警 配置MRS集群告警事件消息通知
”、“安全组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。 其他配置参数详细信息,请参见“弹性云服务器 > 快速入门 > 购买并登录Windows弹性云服务器”。 开启Kerberos认证集群需要在Windows上配置集群的ip与主机名映射关系。登录集群后台,执行命令cat
x及之后版本。 配置LDAP防火墙策略 在双平面组网的集群中,由于LDAP部署在业务平面中,为保证LDAP数据安全,建议通过配置整个集群对外的防火墙策略,关闭LDAP相关端口。 登录FusionInsight Manager。 选择“集群 > 服务 > LdapServer > 配置”。
根据业务情况,准备好客户端,参考使用MRS客户端章节,登录安装客户端的节点。 执行以下命令,切换到客户端目录,例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin 执行以下命令,配置环境变量。 source /opt/client/bigdata_env
查看ZooKeeper角色实例的IP地址。 记录ZooKeeper角色实例其中任意一个的IP地址即可。 根据业务情况,准备好客户端,登录安装客户端的节点。 请根据客户端所在位置,参考使用MRS客户端章节,登录安装客户端的节点。 执行以下命令,切换到客户端目录,例如“/opt/client/Kafka/kafka/bin”。
问权限,Hive表读写权限,HBase读写权限以及Yarn的队列提交权限。 已在Linux环境中安装了完整的集群客户端。 获取Oozie服务器URL(任意节点),这个URL将是客户端提交流程任务的目标地址。 URL格式为:https://Oozie节点业务IP:21003/oozie。可登录FusionInsight