检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FusionInsight Manager，选择“集群 > 服务 > Kafka”。 如需在页面上进行相关操作，例如创建Topic，需同时授予用户相关权限，请参考Kafka用户权限说明。 在“KafkaManager WebUI”右侧，单击URL链接，访问KafkaUI的页面。
hbase.wal.hsync 控制HLog文件在写入到HDFS时的同步程度。如果为“true”，HDFS在把数据写入到硬盘后才返回；如果为“false”，HDFS在把数据写入OS的缓存后就返回。 把该值设置为“false”比“true”在写入性能上会更优。 true hbase.hfile
控制HLog文件在写入到HDFS时的同步程度。如果为true，HDFS在把数据写入到硬盘后才返回；如果为false，HDFS在把数据写入OS的缓存后就返回。 把该值设置为false比true在写入性能上会更优。 true hbase.hfile.hsync 控制HFile文件在写入到HD
FusionInsight Manager，选择“集群 > 服务 > Kafka”。 如需在页面上进行相关操作，例如创建Topic，需同时授予用户相关权限，请参考Kafka用户权限说明。 在“KafkaManager WebUI”右侧，单击URL链接，访问KafkaUI的页面。
使用admin用户访问组件的WebUI界面报错或部分功能不可用 问： 访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI界面报错，或部分功能不可用怎么办？ 答： 访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI的用户不具备对应组件的管理权限，导致界面报错或部分功能不可用。
的2个副本放置在标签L1对应节点中，该数据块的其他副本放置在标签L2对应的节点中。 支持选择节点失败情况下的策略，如随机从全部节点中选一个。 如图7所示。 /HBase下的数据存储在A，B，D /Spark下的数据存储在A，B，D，E，F /user下的数据存储在C，D，F /user/shl下的数据存储在A，E，F
配置使用分布式缓存执行MapReduce任务 配置场景 本章节操作适用于MRS 3.x及之后版本。 分布式缓存在两种情况下非常有用。 滚动升级 在升级过程中，应用程序必须保持文字内容（jar文件或配置文件）不变。而这些内容并非基于当前版本的Yarn，而是要基于其提交时的版本。一般情况下，应用程序（例如
配置使用分布式缓存执行MapReduce任务 配置场景 本章节操作适用于MRS 3.x及之后版本。 分布式缓存在两种情况下非常有用。 滚动升级 在升级过程中，应用程序必须保持文字内容（jar文件或配置文件）不变。而这些内容并非基于当前版本的Yarn，而是要基于其提交时的版本。一般情况下，应用程序（例如
在Linux环境中调测Spark应用 在程序代码完成开发后，您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。
在Linux环境中调测Spark应用 在程序代码完成开发后，您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。
Hive启用Ranger鉴权后，在Hue页面能查看到没有权限的表和库 问题现象 普通集群（未开启Kerberos认证）中，Hive启用Ranger鉴权后，集群用户在Hue页面能查看到没有被授权的数据表和数据库内容。 本章节仅适用于MRS 3.2.1及之后版本。 原因分析 Hive
ALM-18026 Yarn上运行失败的任务数超过阈值 告警解释 告警模块按60秒周期检测Yarn root队列上失败的应用的数量，当root队列上该监控周期内新增的运行失败的应用的数量超过50时，且连续发生3次以上，触发该告警。 告警属性 告警ID 告警级别 是否自动清除 18026
并作为执行计划中的代价估算，例如对于代价评估中识别的小表，会广播小表放在内存中广播到各个节点上，进行join操作，大大节省shuffle时间。 此开关对于Join场景有较大的性能优化，但是会带来OBS调用量的增加。 处理步骤 在SparkSQL中设置以下参数后再运行： set spark
进行某种程度的集成。在大多数情况下，数据质量问题源于生成源数据的上游（主要）系统。 有两种完全不同的方式处理Bad Data： 按照原始数据加载所有数据，之后进行除错处理。 在进入数据源的过程中，可以清理或擦除Bad Data，或者在发现Bad Data时让数据加载失败。 有多个
03报错。 解决方法 方案一： 使用hadoop fs -rm -skipTrash命令来删除文件。 方案二： 在集群对应的委托中添加访问.Trash目录的权限。 在集群“概览”页签中，查询并记录集群所绑定的委托名称。 登录IAM服务控制台。 选择“权限 > 创建自定义策略”。 策略名称：请输入策略名称。
对于可以压缩的数据，配置压缩算法可以有效减少磁盘的IO，从而达到提高性能的目的。 说明： 并非所有数据都可以进行有效压缩。例如一张图片的数据，因为图片一般已经是压缩后的数据，所以压缩效果有限。常用的压缩算法是SNAPPY，因为它有较好的Encoding/Decoding速度和可以接受的压缩率。
选择Scala语言 当IDEA可以识别出Scala SDK时，在设置界面，选择编译的依赖jar包，然后单击“OK”应用设置 图22 Add Scala Support 当系统无法识别出Scala SDK时，需要自行创建。 单击“Create...”。 图23 Create... 在“Select JAR's
进行某种程度的集成。在大多数情况下，数据质量问题源于生成源数据的上游（主要）系统。 有两种完全不同的方式处理Bad Data： 按照原始数据加载所有数据，之后进行除错处理。 在进入数据源的过程中，可以清理或擦除Bad Data，或者在发现Bad Data时让数据加载失败。 有多个
配置“表输入”算子，生成三个字段： 设置了数据连接器后，可以单击“自动识别”，系统将自动读取数据库中的字段，可根据需要选择添加，然后根据业务场景手动进行完善或者修正即可，无需逐一手动添加。 此操作会覆盖表格内已有数据。 单击“自动识别”后，建议手动检查系统自动识别出的字段类型，确保与表中实际的字段类型相符合。
弹性IP访问和云专线访问可以在MRS集群管理控制台上进行切换：登录MRS管理控制台，在待操作的MRS集群“概览”页面单击“集群管理页面”后的，在打开的页面中进行切换。 通过ECS访问FusionInsight Manager：通过与MRS集群在同一VPC内的ECS节点访问集群
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
