检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文本的单词数量。 操作步骤 准备wordcount程序。 开源的Hadoop的样例程序包含多个例子，其中包含wordcount。可以从https://dist.apache.org/repos/dist/release/hadoop/common/中下载Hadoop的样例程序。 例如，选择hadoop-x
MRSResource objects 参数解释： 资源列表。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 total_count Integer 参数解释： 资源总数。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 表6 MRSResource 参数 参数类型 描述 resource_id
SparkSQL读取ORC表报错 问题现象 Hive创建ORC存储格式的表，用SparkSQL读取该表时报错： 原因分析 该问题为一个开源社区问题：https://issues.apache.org/jira/browse/HIVE-11102，使用开源的hive 1.2.1版本包就有可能触发此问题。
00MB。 对于计算后的调整值低于设定的“minMemory”值的情形，虽然此时配置不会生效但后台仍然会打印出这个调整值，用于为用户提供“minMemory”参数调整的依据，保证配置可以生效。 父主题： Yarn企业级能力增强
name。 ${newhostname}：表示新的hostname取值。 修改完成后，重新登录修改的节点，查看修改后的hostname是否生效。 父主题： 集群管理类
、“INFO”、“WARN”、“ERROR”和“FATAL”信息。 由于开源中定义的不同，组件的日志级别定义略有差异。 验证日志级别设置已生效，请下载日志并查看。请参见下载MRS集群日志（MRS 3.x及之后版本）。 修改服务日志级别与日志文件大小 KrbServer，LdapS
00MB。 对于计算后的调整值低于设定的“minMemory”值的情形，虽然此时配置不会生效但后台仍然会打印出这个调整值，用于为用户提供“minMemory”参数调整的依据，保证配置可以生效。 父主题： Yarn企业级能力增强
opts（调整reduce的栈内存），调整方法如下（以mapreduce.map.java.opts参数为例）。 临时增加map内存（只针对此次beeline生效）： 在beeline中执行如下命令set mapreduce.map.java.opts=-Xss8G;（具体数值请结合实际业务情况进行调整）。
WebUI中为自定义调度器加载相应的web页面。仅当“yarn.resourcemanager.scheduler.class”配置为自定义调度器时此配置项生效。 - yarn.http.rmwebapp.external.classes 在RM的Web服务中加载用户自定义的web应用。 - 父主题：
全部配置”页面。需将NodeManager的“yarn.nodemanager.recovery.enabled”配置项为“true”后才生效，默认为“true”，这样在YARN重启的异常场景时会定时删除多余的本地日志，避免问题的出现。 父主题： Yarn常见问题
在应用开发过程中，如需在本地Windows系统中调测应用程序，需要确保本地节点能与“hosts”文件中所列出的各主机在网络上互通。 如果当前节点与MRS集群所在网络平面不互通，可以通过绑定EIP的方式访问MRS集群，具体操作请参考配置Windows通过EIP访问普通模式集群HBase。 Windows本地ho
streaming.kafka.direct.lifo 配置是否开启Kafka后进先出功能。 false 不建议修改的参数 以下参数在安装集群时已进行了适配，不建议用户进行修改。 表2 不建议修改的参数说明 配置项 说明 默认值或配置示例 spark.password.factory 用于选择密钥解析方式。
streaming.kafka.direct.lifo 配置是否开启Kafka后进先出功能。 false 不建议修改的参数 以下参数在安装集群时已进行了适配，不建议用户进行修改。 表2 不建议修改的参数说明 配置项 说明 默认值或配置示例 spark.password.factory 用于选择密钥解析方式。
配置”，选择“全部配置”。在搜索框中输入参数名称。 参数说明 下表仅列举了部分常用参数，实际参数以Manager页面为准，参数详情请参见官网https://docs.cloudera.com/documentation/enterprise/6/properties/6.3/topic
的语言集成式查询API，它支持非常直观的从关系运算符（如选择、筛选和连接）进行组合查询。Table API&SQL详细内容请参见官网：https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/index
例，可在“实例”页面勾选“配置过期”的实例，选择“更多 > 重启实例”。 配置参数前包含图标时，表示该参数为动态生效，保存配置后参数值会自动刷新到配置文件中。（动态生效图标仅MRS 3.2.0及之后版本支持） 父主题： 管理MRS集群组件
不使用该功能。 false spark.sql.collect.Hive 该参数在spark.sql.uselocalFileCollect开启的情况下生效。直接序列化的方式，还是间接序列化的方式保存结果数据到磁盘。 优点：针对分区数特别多的表查询结果汇聚性能优于直接使用结果数据保证在磁盘的方式。
values (1,"test01"), (2,"test02"); 参考Hive数据脱敏，给hivetest表的字段b配置脱敏策略，验证脱敏是否生效： select * from hivetest; 如下图显示则表示数据脱敏成功： 图1 配置脱敏策略成功 验证脱敏策略的传递性： create
不使用该功能 false spark.sql.collect.Hive 该参数在spark.sql.uselocalFileCollect开启的情况下生效。直接序列化的方式，还是间接序列化的方式保存结果数据到磁盘。 优点：针对分区数特别多的表查询结果汇聚性能优于直接使用结果数据保证在磁盘的方式。
操作。 卸载失败或者重试后仍然失败，不能直接再点安装，请联系运维人员。 回退升级补丁时增加的配置 不涉及。 重启相关组件 补丁卸载完成后，需要手动重启相关大数据组件服务，使补丁生效。 提供两种重启方式，请根据业务自行选择重启方式： 滚动重启：影响小，耗时长。 离线重启：会断服，耗时短。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
