检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
请参考修改集群服务配置参数进入HDFS服务配置页面。 参数说明 表1 HDFS参数说明 参数 参数说明 默认值 fs.obs.security.provider 指定获取访问OBS文件系统密钥的实现方式。 参数取值： com.huawei.mrs.MrsObsCredentialsProvider：通过MRS云服务委托获取凭证。
初始化环境变量。 source bigdata_env kinit 组件业务用户 kinit一次票据时效24小时。24小时后再次运行样例，需要重新kinit。 与HTTP服务访问相比，以HTTPS方式访问Yarn时，由于使用了SSL安全加密，需要确保Curl命令所支持的SSL协议
Storm样例程序开发思路 通过典型场景，可以快速学习和掌握Storm拓扑的构造和Spout/Bolt开发过程。 场景说明 一个动态单词统计系统，数据源为持续生产随机文本的逻辑单元，业务处理流程如下： 数据源持续不断地发送随机文本给文本拆分逻辑，如“apple orange apple”。
apache.hadoop.mapreduce.Job：用户提交MR作业的接口，用于设置作业参数、提交作业、控制作业执行以及查询作业状态。 org.apache.hadoop.mapred.JobConf：MapReduce作业的配置类，是用户向Hadoop提交作业的主要配置接口。 表1 类org
IntelliJ IDEA中远程提交拓扑执行Main时报错：Command line is too long 问题 IntelliJ IDEA中远程提交拓扑，执行Main方法时IntelliJ IDEA报如下错 ： Command line is too long. Shorten
在节点上安装客户端可以使用root或任意操作系统用户进行操作，要求该用户对客户端文件存放目录和安装目录具有操作权限，两个目录的权限为“755”。 本章节以使用操作系统用户“user_client”安装客户端进行举例，安装目录为“/opt/hadoopclient”。 使用omm和root以外的用户安装客户端时，若
多线程场景下，需要在进程的开始处调用hadoop提供的loginfromkeytab函数登录KDC，得到TGT，后续提交任务之前，调用reloginFromKeytab函数刷新该TGT。 //进程入口首次登录，登录成功设置userGroupInformation UserGroupInformation
查询OpenTSDB表 SELECT命令用于查询OpenTSDB表中的数据。 语法格式 SELECT * FROM table_name WHERE tagk=tagv LIMIT number; 关键字 参数 描述 LIMIT 对查询结果进行限制。 number 参数仅支持INT类型。
storage.size.in.mb” 与 “Netty offheapmemory required”参数值的总和。否则，如果堆外（off heap）访问超出配置的executor内存，则YARN可能会停止executor。 “Netty offheapmemory required”说明：当“spark
该特性只会清理ZooKeeper的“/flink_base”目录和HDFS的“/flink/recovery”目录下的残留目录，用户自定义修改的目录不会清理。 HDFS中的“checkpoints”目录需用户手动删除，该特性不会删除。 父主题： 管理FlinkServer作业
Launcher作业失败的，提示原因为：提交作业用户无“hdfs /mrs/job-properties”目录的写权限如何处理？ 答： 该问题已在MRS 2.1.0.6的补丁中修复，也可通过在MRS Manager页面给同步的提交作业用户赋予该目录“/mrs/job-properties”的写入权限进行处理。
s_Client.tar 待安装客户端节点的IP地址:/opt/Bigdata/client 当用户无法获取root用户权限，需要用omm用户操作。 以user_client用户登录将要安装客户端的服务器。 解压软件包。 进入安装包所在目录，例如“/opt/Bigdata/cli
Yarn队列资源不足”告警时，正在运行的资源队列可以在哪查看？ 答： Yarn资源队列可以登录Manager界面，选择“集群 > 服务 > Yarn > ResourceManager(主)”，登录Yarn的原生页面进行查看。 具体的告警处理方法可查看该告警的联机帮助文档进行处理。 父主题：
与之相连的Channel，可以配置多个。用空格隔开。 在单个代理流程中，是通过channel连接sources和sinks。一个source实例对应多个channels，但一个sink实例只能对应一个channel。 格式如下： <Agent >.sources.<Source>
Hudi表分区设计规范 规则 分区键不可以被更新： Hudi具有主键唯一性机制，但在分区表的场景下通常只能保证分区内主键唯一，因此如果分区键的值发生变更后，会导致相同主键的行记录出现多条的情况。在以日期分区的场景，可采用数据的创建时间为分区字段，切记不要采用数据更新时间做分区。
有一个该属性文件。 keytab文件 存放用户信息的密钥文件。在安全模式下，应用程序采用此密钥文件进行API方式认证。 Client 客户端直接面向用户，可通过Java API、Shell API、 REST API或者Web UI访问Oozie服务端。 父主题： Oozie开发指南（安全模式）
内存不足导致HDFS NameNode启动失败 问题背景与现象 场景一：重启HDFS服务后，HDFS的状态为Bad，且NameNode实例状态异常，并且很久没有退出安全模式。 场景二：NameNode启动时，启动超时后启动失败，原生页面无法打开。 原因分析 在NameNode运行
没有reduce阶段的insert任务，将会多出reduce阶段，用于收集统计信息。 本章节适用于MRS 3.x及后续版本。 前提条件 已登录Hive客户端，具体操作请参见Hive客户端使用实践。 操作步骤 在Manager界面Hive组件的配置中搜索“hive.cbo.enab
Storm服务异常。 客户端用户没有进行安全认证或者认证过期。 提交拓扑中包含storm.yaml文件和服务端冲突。 原因分析 用户提交拓扑失败，可能原因客户端侧问题或者Storm侧问题。 查看Storm状态。 对于MRS 3.x之前的版本集群：登录MRS Manager，在MRS
答： 用户可以根据自己的需求，修改MRS的流式Core节点上的“/opt/Bigdata/MRS_XXX /1_XX _Supervisor/etc/worker.xml”文件，将标签filename的值设定为客户需要的路径，然后在Manager页面重启对应实例。 建议用户尽量不
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
