-
ALM-12039 GaussDB主备数据不同步(2.x及以前版本) - MapReduce服务 MRS
可自动清除 12039 致命 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机节点信息。 Local GaussDB HA IP 本地GaussDB HA IP地址。 Peer GaussDB
-
准备本地应用开发环境 - MapReduce服务 MRS
准备一个应用程序运行测试的Linux环境。 准备运行调测环境 在弹性云服务器管理控制台,申请一个新的弹性云服务器,用于用户应用程序开发、运行、调测。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的网卡需要与MRS集群在同一个网段中。
-
管理Loader连接(MRS 3.x之前版本) - MapReduce服务 MRS
证连接失败无法保存。另外VPC相关设置,也可能影响网络连通性。 用户可以直接单击“测试”立即检测连接是否可用。 查看连接 在Loader页面,单击“管理连接”。 如果集群启用了Kerberos认证,则默认显示所有当前用户创建的连接,不支持显示其他用户创建的连接。 如果集群未启用K
-
配置MapReduce应用安全认证 - MapReduce服务 MRS
在kerberos认证集群环境下,各个组件之间的相互通信不能够简单的互通,而需要在通信之前进行相互认证,以确保通信的安全性。 用户在提交MapReduce应用程序时,需要与Yarn、HDFS等之间进行通信。那么提交MapReduce的应用程序中需要写入安全认证代码,确保MapReduce程序能够正常运行。
-
准备工作 - MapReduce服务 MRS
面的数据传输通道。请参见VPC对等连接。 当源集群与目标集群部署在同一VPC但属于不同安全组时,在VPC管理控制台,为每个安全组分别添加安全组规则。规则的“协议”为“ANY”,“方向”为“入方向”,“源地址”为“安全组”且是对端集群的安全组。 为源集群的安全组添加入方向规则,源地址选择目标集群的安全组。
-
准备Presto应用开发环境 - MapReduce服务 MRS
准备一个应用程序运行测试的Linux环境。 准备运行调测环境 在弹性云服务器管理控制台,申请一个新的弹性云服务器,用于用户应用程序开发、运行、调测。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的网卡需要与MRS集群在同一个网段中。
-
准备工作 - MapReduce服务 MRS
面的数据传输通道。请参见VPC对等连接。 当源集群与目标集群部署在同一VPC但属于不同安全组时,在VPC管理控制台,为每个安全组分别添加安全组规则。规则的“协议”为“ANY”,“方向”为“入方向”,“源地址”为“安全组”且是对端集群的安全组。 为源集群的安全组添加入方向规则,源地址选择目标集群的安全组。
-
ALM-12089 节点间网络互通异常 - MapReduce服务 MRS
参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 集群节点间网络健康状态不好时,会影响某些组件的功能使用,如HDFS,ZooKeeper等。 可能原因 节点宕机。 网络故障。 处理步骤
-
准备Alluxio应用开发环境 - MapReduce服务 MRS
弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的网卡需要与MRS集群在同一个网段中。 在弹性云服务器页面申请并绑定弹性云服务器IP,具体请参考为弹性云服务器申请和绑定弹性公网IP。 配置安全组出入规则,具体请参考配置安全组规则。 下载客户端程序。 登录MRS Manager系统。
-
准备本地应用开发环境 - MapReduce服务 MRS
准备一个应用程序运行测试的Linux环境。 准备运行调测环境 在弹性云服务器管理控制台,申请一个新的弹性云服务器,用于用户应用程序开发、运行、调测。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的网卡需要与MRS集群在同一个网段中。
-
使用BulkLoad工具向HBase中批量导入数据 - MapReduce服务 MRS
网络环境。 vpc-01 子网 通过子网提供与其他网络隔离的、可以独享的网络资源,以提高网络安全。 subnet-01 Kerberos认证 当集群开启Kerberos认证时,需要确认是否需要开启Kerberos认证,若确认开启请单击“继续”,若无需开启Kerberos认证请单击
-
Kafka应用开发环境简介 - MapReduce服务 MRS
3.0及以上 安装和配置Eclipse或IntelliJ IDEA 用于开发Kafka应用程序的工具。 网络 确保本地与Kafka服务所在的VPC的至少一个节点在网络上互通。 访问云服务器的安全认证 本地可以通过密钥或密码方式登录访问Linux弹性云服务器 父主题: 准备Kafka应用开发环境
-
创建MRS自定义策略 - MapReduce服务 MRS
"vpc:securityGroups:create", "vpc:securityGroupRules:delete", "vpc:vpcs:create", "vpc:ports:create"
-
不同版本的Hive之间是否可以兼容? - MapReduce服务 MRS
不同版本的Hive之间是否可以兼容? Hive 3.1版本与Hive 1.2版本相比不兼容内容主要如下: 字段类型约束:Hive 3.1不支持String转成int UDF不兼容:Hive 3.1版本UDF内的Date类型改为Hive内置 索引功能废弃 时间函数问题:Hive 3
-
权限管理 - MapReduce服务 MRS
"evs:*:get*", "evs:*:list*", "vpc:*:get*", "vpc:*:list*", "mrs:job:submit",
-
购买自定义拓扑集群 - MapReduce服务 MRS
(推荐)数据节点数500-2000时采用此方案 集群节点数超过200时,各节点划分到不同子网,各子网通过核心交换机三层互联,每个子网的节点数控制在200个以内,不同子网中节点数量请保持均衡。 集群节点数低于200时,各节点部署在同一子网,集群内通过汇聚交换机二层互联。 MN × 2 + CN × 5
-
使用不同用户执行yarn-session创建Flink集群失败 - MapReduce服务 MRS
使用不同用户执行yarn-session创建Flink集群失败 问题背景与现象 使用Flink过程中,具有两个相同权限用户testuser和bdpuser。 使用用户testuser创建Flink集群正常,但是切换至bdpuser用户创建Fllink集群时,执行yarn-session
-
配置ClickHouse对接RDS MySQL数据库 - MapReduce服务 MRS
前提条件 已提前准备好对接的RDS数据库实例及数据库用户名、密码。详细操作可以参考创建和连接RDS数据库实例。 已成功创建ClickHouse集群且集群和实例状态正常。 约束限制 RDS数据库实例和ClickHouse集群在相同的VPC和子网内。 在进行数据同步操作时需要评估对源
-
访问MRS Manager(MRS 2.x及之前版本) - MapReduce服务 MRS
“现有集群” 列表中,单击指定的集群名称。 记录集群的“可用区”、“虚拟私有云”、“安全组”。 在ECS管理控制台,创建一个新的弹性云服务器。 弹性云服务器的“可用区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。例如,选择一个标准镜像“Windows
-
配置ClickHouse对接RDS MySQL数据库 - MapReduce服务 MRS
前提条件 已提前准备好对接的RDS数据库实例及数据库用户名、密码。详细操作可以参考创建和连接RDS数据库实例。 已成功创建ClickHouse集群且集群和实例状态正常。 约束限制 RDS数据库实例和ClickHouse集群在相同的VPC和子网内。 在进行数据同步操作时需要评估对源