检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
发。 迁移效率高： 基于分布式计算框架进行数据任务执行和数据传输优化，并针对特定数据源写入做了专项优化，迁移效率高。 实时监控：迁移过程中可以执行自动实时监控、告警和通知操作。 约束与限制 搬迁数据量较大时，对网络通信要求较高，执行搬迁任务时，可能会影响其他业务，建议在业务空闲期进行数据迁移任务。
32 每个worker进程Distuptor消息队列大小，建议在4到32之间，增大消息队列可以提升吞吐量，但延时可能会增加。 RES_CPUSET_PERCENTAGE 80 设置各个节点上的Supervisor角色实例（包含其启动并管理的Worker进程）所使用的物理CPU百分
录FusionInsight Manager平台，无法进行正常运维操作。 httpd进程持续重启，可能引起无法访问服务原生UI界面。 可能原因 httpd进程异常。 处理步骤 检查httpd进程是否异常。 打开FusionInsight Manager页面，在告警列表中，单击此告警所在行的，查看该告警的主机名称。
提供shell命令完成HDFS文件系统的基本操作。 HTTP REST API 提供除Shell、Java API和C API以外的其他接口，可通过此接口监控HDFS状态等信息。 WEB UI 提供Web可视化组件管理界面。 父主题： HDFS开发指南（普通模式）
HQL/SparkSQL脚本、拖拽式地开发MRS作业，完成MRS与其他20多种异构数据源之间的数据迁移和数据集成；通过强大的作业调度与灵活的监控告警，轻松管理数据作业运维。 目前MRS集群支持在线创建如下几种类型的作业： MapReduce：提供快速并行处理大量数据的能力，是一种分
提供shell命令完成HDFS文件系统的基本操作。 HTTP REST API 提供除Shell、Java API和C API以外的其他接口，可通过此接口监控HDFS状态等信息。 WEB UI 提供Web可视化组件管理界面。 父主题： HDFS开发指南（普通模式）
提供shell命令完成HDFS文件系统的基本操作。 HTTP REST API 提供除Shell、Java API和C API以外的其他接口，可通过此接口监控HDFS状态等信息。 WEB UI 提供Web可视化组件管理界面。 keytab文件 存放用户信息的密钥文件，应用程序采用此密钥文件在组件中进行API方式认证。
igdata/nodeagent/monitorlog/monitor.log日志，搜索Resource group info可看到资源组监控采集信息。 请联系运维人员，并发送已收集的故障日志信息。 参考信息 无。 父主题： MRS集群告警处理参考
Storm开源特性 分布式实时计算框架 开源Storm集群中的每台机器上都可以运行多个工作进程，每个工作进程又可创建多个线程，每个线程可以执行多个任务，任务是并发进行数据处理。 高容错 如果在消息处理过程中有节点、进程等出现异常，提供重新部署该处理单元的能力。 可靠的消息保证 支持At-Least
登录报错的RegionServer节点，执行以下命令查看节点剩余内存： free -g 执行top命令查看节点内存使用情况。 根据top提示结束内存占用多的进程（内存占用多并且非MRS自身组件的进程），并重新启动HBase服务。 集群的Core节点除了MRS组件运行占用外，Yarn上的作业还会被分配到节点运行，占用节
ight Manager平台，无法进行正常运维操作。 controller进程持续重启，可能引起无法访问服务原生UI界面。 可能原因 controller进程异常。 处理步骤 检查controller进程是否异常。 打开FusionInsight Manager页面，在告警列表中
运行程序时可根据需要选择运行模式： --deploy-mode client：driver进程在客户端运行，运行结果在程序运行后直接输出。 --deploy-mode cluster：driver进程在Yarn的ApplicationMaster（AM）中运行，运行结果和日志在Yarn的WebUI界面输出。
提供shell命令完成HDFS文件系统的基本操作。 HTTP REST API 提供除Shell、Java API和C API以外的其他接口，可通过此接口监控HDFS状态等信息。 WEB UI 提供Web可视化组件管理界面。 keytab文件 存放用户信息的密钥文件，应用程序采用此密钥文件在组件中进行API方式认证。
igdata/nodeagent/monitorlog/monitor.log日志，搜索Resource group info可看到资源组监控采集信息。 请联系运维人员，并发送已收集的故障日志信息。 参考信息 无。 父主题： MRS集群告警处理参考
sight Manager平台，无法进行正常运维操作。 fms进程持续重启，导致告警上报时间段告警数据上报异常，严重时可导致告警上报时间段告警数据上报和恢复失败。 可能原因 fms进程异常。 处理步骤 检查fms进程是否异常。 打开FusionInsight Manager页面，
对系统的影响 触发Manager主备倒换。 如果倒换后disaster进程仍旧异常会不断主备倒换，可能引起主备容灾功能不可用或Manager界面无法访问。 可能原因 disaster进程异常。 处理步骤 检查disaster进程是否异常。 打开FusionInsight Manager页面
Flink性能调优 优化Flink内存GC参数 配置Flink任务并行度 配置Flink任务进程参数 优化Flink Netty网络通信参数 父主题： 使用Flink
Hive JDBC访问样例程序 Hive JDBC样例程序开发思路 创建Hive表 加载数据到Hive表中 查询Hive表数据 实现Hive进程访问多ZooKeeper 使用JDBC接口提交数据分析任务 父主题： 开发Hive应用
Hive JDBC访问样例程序 Hive JDBC样例程序开发思路 创建Hive表 加载数据到Hive表中 查询Hive表数据 实现Hive进程访问多ZooKeeper 使用JDBC接口提交数据分析任务 父主题： 开发Hive应用
数据序列化 配置内存 设置并行度 使用广播变量 使用External Shuffle Service提升性能 Yarn模式下动态资源调度 配置进程参数 设计DAG 经验总结 父主题： Spark应用调优
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
