检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参考获取MRS应用开发样例工程，获取样例代码解压目录中“src”目录下的样例工程，可根据实际业务场景选择对应的样例，相关样例介绍请参见MapReduce样例工程介绍。 将已获取的认证文件和配置文件，放置在MapReduce样例工程的“../src/mapreduce-example-security/conf”路径下。
”配置页面 选择要导入的样例工程，例如storm-examples。 图8 选择要导入的样例工程 选择以maven工程的形式导入。 图9 以maven工程的形式导入 设置IntelliJ IDEA的文本文件编码格式，解决乱码显示问题。 在IntelliJ IDEA的菜单栏中，选择“File
在样例工程的“kafka-examples\src\main\resources”目录下。 安装IntelliJ IDEA和JDK工具后，需要在IntelliJ IDEA配置JDK。 不同的IDEA版本的操作步骤可能存在差异，以实际版本的界面操作为准。 打开IntelliJ IDEA，选择“Configure”。
导入并配置HBase样例工程 背景信息 获取HBase开发样例工程，将工程导入到IntelliJ IDEA开始样例学习。 前提条件 确保本地PC的时间与集群的时间差要小于5分钟，若无法确定，请联系系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。 已准备开发环境及MR
”配置页面 选择要导入的样例工程，例如“storm-examples”。 图8 选择要导入的样例工程 选择以maven工程的形式导入。 图9 以maven工程的形式导入 设置IntelliJ IDEA的文本文件编码格式，解决乱码显示问题。 在IntelliJ IDEA的菜单栏中，选择“File
导入并配置HBase样例工程 背景信息 获取HBase开发样例工程，将工程导入到IntelliJ IDEA开始样例学习。 前提条件 确保本地PC的时间与集群的时间差要小于5分钟，若无法确定，请联系系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。 操作步骤 参考获取M
在样例工程的“kafka-examples\src\main\resources”目录下。 安装IntelliJ IDEA和JDK工具后，需要在IntelliJ IDEA配置JDK。 不同的IDEA版本的操作步骤可能存在差异，以实际版本的界面操作为准。 打开IntelliJ IDEA，选择“Configure”。
默认取值： 不涉及 charge_info 否 ChargeInfo object 参数解释： 节点组的计费类型，Master和Core节点组是和集群的计费类型一致，Task节点组可以和集群的计费类型不同。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 auto_scaling_policy
志查看RDD在内存中的大小，如果数据太大，需要改变RDD的存储级别来优化。 操作步骤 优化GC，调整老年代和新生代的大小和比例。在客户端的conf/spark-defaults.conf配置文件中，在spark.driver.extraJavaOptions和spark.executor
查看RDD在内存中的大小，如果数据太大，需要改变RDD的存储级别来优化。 操作步骤 优化GC，调整老年代和新生代的大小和比例。在客户端的“conf/spark-default.conf”配置文件中，在spark.driver.extraJavaOptions和spark.executor
Storm提供了不同场景下的样例程序，您可以导入样例工程进行程序学习。 根据场景开发拓扑 通过典型场景，您可以快速学习和掌握Storm拓扑的构造和Spout/Bolt开发过程。 编译并运行程序 指导用户将开发好的程序编译并提交运行。 查看程序运行结果 程序运行结果会写在用户指定的路径下。 用户还可以通过UI查看应用运行情况。
志查看RDD在内存中的大小，如果数据太大，需要改变RDD的存储级别来优化。 操作步骤 优化GC，调整老年代和新生代的大小和比例。在客户端的conf/spark-default.conf配置文件中，在spark.driver.extraJavaOptions和spark.executor
Hue WebUI中Oozie编辑器的时区设置问题 问题 在Hue设置Oozie工作流调度器的时区时，部分时区设置会导致任务提交失败。 回答 部分时区存在适配问题，建议时区选择“Asia/Shanghai”，如图1所示。 图1 时区选择 支持的时区可以参考Oozie WebUI页
Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的YARN的Container GC日志，如果频繁出现Full GC，需要优化GC。 GC的配置：在
并行度控制任务的数量，影响操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到更优。 查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度使任务和数据更均匀的分布在各个节点。增加任务的并行度，充分利用集群机器的计算能力。
Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的YARN的Container GC日志，如果频繁出现Full GC，需要优化GC。 GC的配置：在
度让任务的数量和每个任务处理的数据与机器的处理能力达到最优。 查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度使任务和数据更均匀的分布在各个节点。增加任务的并行度，充分利用集群机器的计算能力。 任务的并行度可以通过以下四种层
在Ranger管理界面查看不到创建的MRS用户 问题 在MRS Manager界面创建了一个账户，登录到Ranger管理界面后查看不到该用户。 回答 登录到Ranger管理界面的用户权限不够，需要切换至rangeradmin用户或者其他具有Ranger管理员权限的用户。 在Ranger W
在Ranger管理界面查看不到创建的MRS用户 问题 在MRS Manager界面创建了一个账户，登录到Ranger管理界面后查看不到该用户。 回答 登录到Ranger管理界面的用户权限不够，需要切换至rangeradmin用户或者其他具有Ranger管理员权限的用户。 在Ranger W
配置YARN-Client和YARN-Cluster不同模式下的环境变量 配置场景 当前，在YARN-Client和YARN-Cluster模式下，两种模式的客户端存在冲突的配置，即当客户端为一种模式的配置时，会导致在另一种模式下提交任务失败。 为避免出现如上情况，添加表1中的配置项，避免两种模式下来回切换参数，提升软件易用性。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
