-
配置SNMP北向参数 - MapReduce服务 MRS
在MRS Manager,单击“系统设置”。 在“配置”区域“监控和告警配置”下,单击“SNMP配置”。 “SNMP服务”的开关默认为关闭,单击启用SNMP服务。 设置表1所示的对接参数。 表1 对接参数 参数名称 参数说明 版本 SNMP协议版本号,取值范围: v2c:低版本,安全性较低
-
配置MapReduce shuffle address - MapReduce服务 MRS
配置MapReduce shuffle address 配置场景 当MapReduce shuffle服务启动时,它尝试基于localhost绑定IP。如果需要MapReduce shuffle服务去连接特定IP,那么没有可用的配置。下面的描述允许您配置连接到特定的IP。 配置描述
-
运行Producer.java样例运行获取元数据失败如何处理 - MapReduce服务 MRS
java样例运行获取元数据失败如何处理 解决步骤 检查工程conf目录下“client.properties”中配置的“bootstrap.servers”配置值中访问的IP和端口是否正确。 如果IP与Kafka集群部署的业务IP不一致,那么需要修改为当前集群正确的IP地址。 如果配置中的端口为2
-
登录MRS Manager - MapReduce服务 MRS
”。 自动获取的访问公网IP与用户本机IP不一致,属于正常现象,无需处理。 9022端口为knox的端口,需要开启访问knox的9022端口权限,才能访问MRS Manager服务。 勾选“我确认xx.xx.xx.xx为可信任的公网访问IP,并允许从该IP访问MRS Manager页面。”
-
Flink Job Pipeline样例程序(Java) - MapReduce服务 MRS
Flink Job Pipeline样例程序(Java) 发布Job自定义Source算子产生数据 下面代码片段仅为演示,完整代码参见FlinkPipelineJavaExample样例工程下的com.huawei.bigdata.flink.examples.UserSource:
-
准备Alluxio应用开发环境 - MapReduce服务 MRS
配置安全组出入规则,具体请参考配置安全组规则。 下载客户端程序。 登录MRS Manager系统。 选择“服务管理 > 下载客户端 ”,下载“完整客户端”到“远端主机”上,即下载客户端程序到新申请的弹性云服务器上。 以root用户登录存放下载的客户端的节点,再安装客户端。 执行以下命令解压客户端包。
-
准备Presto应用开发环境 - MapReduce服务 MRS
选择“服务管理 > 下载客户端 ”,下载“完整客户端”到“远端主机”上,即下载客户端程序到新申请的弹性云服务器上。 以root用户安装集群客户端。 执行以下命令解压客户端包。 tar -xvf /opt/MRS_Services_Client.tar 执行以下命令校验安装文件包。
-
如何读取“ - MapReduce服务 MRS
如何读取“__consumer_offsets”内部topic的内容 用户问题 Kafka如何将consumer消费的offset保存在内部topic“ __consumer_offsets”中? 处理步骤 以客户端安装用户,登录安装Kafka客户端的节点。 切换到Kafka客户
-
浮动IP不通导致DBService备份失败 - MapReduce服务 MRS
ce浮动IP到ListenAdress或者注释掉ListenAdress配置项。 执行如下命令重启sshd服务。 service sshd restart 观察下次备份DBServie是否备份成功。 父主题: 使用DBservice
-
准备本地应用开发环境 - MapReduce服务 MRS
r节点的安全组相同。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的网卡需要与MRS集群在同一个网段中。 申请弹性IP,绑定新申请的弹性云主机IP,并配置安全组出入规则。 下载客户端程序。 登录MRS Manager系统。 选择“服务管理 > 下载客户端
-
当事件队列溢出时如何配置事件队列的大小 - MapReduce服务 MRS
scheduler. 回答 停止应用,在Spark的配置文件“spark-defaults.conf”中将配置项“spark.event.listener.logEnable”配置为“true”。并把配置项“spark.eventQueue.size”配置为1000W。如果需要控制打印频率(默
-
当事件队列溢出时如何配置事件队列的大小 - MapReduce服务 MRS
scheduler. 回答 停止应用,在Spark的配置文件“spark-defaults.conf”中将配置项“spark.event.listener.logEnable”配置为“true”。并把配置项“spark.eventQueue.size”配置为1000W。如果需要控制打印频率(默
-
如何使用IDEA远程调试 - MapReduce服务 MRS
如何使用IDEA远程调试 问题 在Spark二次开发中如何使用IDEA远程调试? 回答 以调试SparkPi程序为例,演示如何进行IDEA的远程调试。 打开工程,在菜单栏中选择“Run > Edit Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的“+”
-
准备Eclipse与JDK - MapReduce服务 MRS
准备Eclipse与JDK 选择Windows开发环境下,安装Eclipse,安装JDK。 开发环境安装Eclipse程序,安装要求Eclipse使用4.2或以上版本。 开发环境安装JDK程序,安装要求JDK使用1.8版本。 若使用IBM JDK,请确保Eclipse中的JDK配置为IBM
-
配置Flume对接安全模式Kafka - MapReduce服务 MRS
keytab" principal="flume_hdfs@<系统域名>" useTicketCache=false storeKey=true debug=true; }; 其中keyTab和principal的值请按照实际情况配置,所配置的principal需要有相应的kafka的权限。
-
管理实例配置 - MapReduce服务 MRS
待操作的集群名称 > 服务”。 单击服务视图中指定的服务名称,并选择“实例”页签。 单击指定的实例,选择“实例配置”。 默认显示“基础配置”,如果需要修改更多参数,请选择“全部配置”,界面上将显示该实例支持的所有参数分类。 图1 实例配置 在导航树选择指定的参数分类,并在右侧修改参数值。
-
准备Eclipse与JDK - MapReduce服务 MRS
准备Eclipse与JDK 前提条件 MRS服务集群开启了Kerberos认证 操作场景 在Windows环境下需要安装Eclipse和JDK。 操作步骤 开发环境安装Eclipse程序,版本要求Eclipse使用4.2或以上版本。 开发环境安装JDK程序,版本要求JDK使用1.7或者1
-
切换集群子网 - MapReduce服务 MRS
切换集群子网 MRS支持当子网IP不足时,切换子网到当前集群相同VPC下的其他子网,实现可用子网IP的扩充。切换子网不会影响当前已有节点的IP地址和子网。 如需对网络ACL出规则进行配置请参考如何配置网络ACL出规则?。 未关联网络ACL时切换子网 登录MRS控制台。 单击集群名称进入集群详情页。
-
配置数据连接 - MapReduce服务 MRS
登录MRS控制台,在导航栏选择“数据连接”。 单击“新建数据连接 ”。 配置RDS数据连接相关操作请参考创建RDS数据连接相关操作进行配置。 RDS服务PostgreSQL数据库,MRS支持Hive组件的集群支持连接该类型数据库。 RDS服务MySQL数据库,支持Hive或Ranger组件的集群支持连接该类型数据库。
-
服务配置 - MapReduce服务 MRS
服务配置 修改服务配置参数 修改服务自定义配置参数 父主题: 管理服务