检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
torm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限 。 Ranger架构如图1所示 图1 Ranger结构 表1 结构图说明 名称 描述 RangerAdmin Ranger的管理角色，拥有策略管理
来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 NameService名 产生告警的NameService名称。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDF
r。 Executor执行这些Task，将具体RDD的数据写入到步骤1创建的目录下。 Spark和YARN的关系 Spark的计算调度方式，可以通过YARN的模式实现。Spark共享YARN集群提供丰富的计算资源，将任务分布式的运行起来。Spark on YARN分两种模式：YARN
建议系统管理员对账户例行检查，检查的内容包括： 操作系统、Manager以及各组件的账户是否有必要，临时账户是否已删除。 各类账户的权限是否合理。不同的管理员拥有不同的权限。 对各类账户的登录、操作记录进行检查和审计。 密码维护建议 用户身份验证是应用系统的门户。用户的账户和密码的复杂性、有效期等需根据客户的安全要求进行配置。
有设置的目录中，一般会是在不同的设备中。为保证磁盘IO负载均衡，需要提供几个路径且每个路径都对应一个单独的磁盘。应用程序的本地化后的日志目录存在于相对路径/application_%{appid}中。单独容器的日志目录，即container_{$contid}，是该路径下的子目录
及每个Consumer的消费信息。 图5 Consumers列表 单击Consumer的名称查看消费的Topic列表。 图6 Consumer消费的Topic列表 单击Consumer下Topic列表中的Topic名称，查看该Consumer对Topic的具体消费情况。 图7 C
配置WebUI上显示的Lost Executor信息的个数 配置场景 Spark WebUI中“Executor”页面支持展示Lost Executor的信息，对于JDBCServer长任务来说，Executor的动态回收是常态，Lost Executor个数太多，会撑爆“Exe
数据迁移到MRS前信息收集 由于离线大数据搬迁有一定的灵活性，迁移前需要掌握现有集群的详细信息，以能够更好的进行迁移决策。 业务信息调研 大数据平台及业务的架构图。 大数据平台和业务的数据流图（包括峰值和均值流量等）。 识别平台数据接入源、大数据平台数据流入方式（实时数据上报、批量数据抽取）、分析平台数据流向。
参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 Coordinator进程GC时间过长，会影响Coordinator进程运行的性能，甚至造成Coordinator进程不可用。
配置WebUI上显示的Lost Executor信息的个数 配置场景 Spark WebUI中“Executor”页面支持展示Lost Executor的信息，对于JDBCServer长任务来说，Executor的动态回收是常态，Lost Executor个数太多，会撑爆“Exe
当HBase服务端出现问题，HBase客户端进行表操作的时候，会进行重试，并等待超时。该超时默认值为Integer.MAX_VALUE (2147483647 ms)，所以HBase客户端会在这么长的时间内一直重试，造成挂起表象。 解决方法 HBase客户端提供两个配置项来控制客户端的重试超时方式，如表1。
HetuEngine具备高速访问Hive、Hudi等数据源的能力。对于Hudi数据源调优，可以分为对Hudi表本身和对集群环境的调优。 Hudi表调优 可参考如下建议优化表和数据设计： 建表时尽量按照频繁使用的过滤条件字段进行分区。 如果大部分查询场景均带有主键或主键子集的等值查询，建议使用bucket索引建表，并将查询字段作为分桶键。
Manager管理页面找到Presto组件，记录Presto的内网浮动IP地址。 在VPC上创建一个弹性公网IP地址，并在VPC控制台上找到MRS集群的子网，然后找到Presto的浮动IP，并给该浮动IP绑定弹性公网IP。 在MRS服务集群的安全组中放通源地址到MRS服务Presto的端口访问，然后测试（以非安全集群为例，catalog为hive）。
为部署在集群内的服务提供统一的集群管理能力。 MRS管理控制台与MRS集群Manager页面的区别和联系请参考表1。 表1 MRS管理控制台与Manager区别说明 常用操作 MRS管理控制台 MRS集群Manager 切换子网、添加安全组规则、OBS权限控制、管理委托、IAM用户同步
参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 如果没有将元数据备份到第三方服务器，当集群主备管理节点同时故障且本地备份数据丢失时，若想要通过备份包恢复集群元数据则没有可用的备份包数据无法恢复。
出现认证失败的原因很多，在不同场景中建议参考以下步骤来排查： 确认本应用所运行设备和集群网络上是否通畅，Kerberos认证所需的各类端口（TCP/UDP）是否可正常访问。 确认各个配置文件是否被正确读取到，路径是否保存正确。 确认用户名和keytab文件是按操作指导得到的。 确认各
有设置的目录中，一般会是在不同的设备中。为保证磁盘IO负载均衡，需要提供几个路径且每个路径都对应一个单独的磁盘。应用程序的本地化后的日志目录存在于相对路径/application_%{appid}中。单独容器的日志目录，即container_{$contid}，是该路径下的子目录
执行命令时默认会读取当前消费者组中未被处理的消息。如果在配置文件指定了新的消费者组且命令中增加参数“--from-beginning”，则会读取所有Kafka中未被自动删除的消息。 Kafka角色实例所在节点IP地址，填写Broker角色实例其中任意一个的IP地址即可。 如果集群启用Ker
如何获取MRS集群ZooKeeper的IP地址和端口？ ZooKeeper的IP地址和端口可以通过MRS控制台或登录Manager界面获取。 方法一：通过MRS控制台获取 在MRS集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步。 选择“组件管理 >
与其他云服务的关系 MRS服务与周边其他云服务的关系如图1所示。 图1 MRS与其他云服务的关系图 MRS服务与其他云服务的关系 表1 MRS服务与其他云服务的关系 服务名称 MRS服务与其他服务的关系 主要交互功能 虚拟私有云（Virtual Private Cloud） MR
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
