检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
关策略进行权限管理。对于MRS 3.x及后续版本集群，具体操作可参考添加Yarn的Ranger访问权限策略。 操作步骤 MRS 3.x以前版本集群执行以下操作： 登录Manager，选择“系统设置 > 角色管理 > 添加角色”。 在“角色名称”和“描述”输入角色名字与描述。 设置角色“权限”请参见表1。
Hive是建立在Hadoop上的数据仓库框架，提供大数据平台批处理计算能力，能够对结构化/半结构化数据进行批量分析汇总完成数据计算。 本章节主要介绍Hive常用参数。 操作步骤 登录FusionInsight Manager，选择“集群 > 服务 > Hive > 配置 > 全部配置”。 在右上角搜索框中搜索对应的参
需要提前干预处理磁盘数据，全局的log.retention.hours修改需要重启服务。为了不断服，可以将数据量大的单个topic老化时间根据需要改短。 处理步骤 登录Kafka集群的流式Core节点。 执行df -h命令查看磁盘使用率。 通过kafka配置文件/opt/Bigdata/MRS_2.1.
在集群节点使用客户端，执行hdfs dfsadmin -safemode get命令：“Safe mode is ON.”。 “Safe mode is ON.”表示安全模式已打开，后面的提示信息为告警信息，根据实际情况展现。 是，执行4.b。 否，执行5。 在集群节点使用客户端，执行hdfs
er的组件健康状态将为故障。 可能原因 组件KrbServer服务所在节点故障。 OLdap服务不可用。 处理步骤 检查组件KrbServer服务所在节点是否故障。 登录MRS集群详情页面，选择“组件管理”。 选择“KrbServer > 实例”。进入KrbServer实例页面查
HDFS日志列表 日志类型 日志文件名 描述 运行日志 hadoop-<SSH_USER>-<process_name>-<hostname>.log HDFS系统日志，记录HDFS系统运行时候所产生的大部分日志。 hadoop-<SSH_USER>-<process_name>-<hostname>
0及之后版本集群，可以参考以下操作批量给客户端安装补丁。 登录FusionInsight Manager。 选择“集群 > 客户端管理”。 在“客户端管理”界面勾选待安装补丁的客户端，选择“更多 > 批量安装MRS补丁”。 在弹出的窗口中勾选操作影响，单击“确定”，即可批量给客户端安装MRS补丁。 给客户端安装补
已获取样例工程运行所需的配置文件及认证文件，详细操作请参见准备连接HBase集群配置文件。 配置安全登录 请根据实际情况，在“com.huawei.bigdata.hbase.examples”包的“TestMain”类中修改“userName”为实际用户名，例如“developuser”。 private
LL值、空字符串定义了不同的处理规则；在算子中无法正确处理的数据，将成为脏数据，无法导入或导出。 在转换步骤中，算子数据处理规则请参见下表。 表1 数据处理规则一览表 转换步骤 规则描述 CSV文件输入 分隔符在原始数据中连续出现两次，将生成空字符串字段。 配置输入字段列数，大于
未安装Flume客户端场景 获取软件包。 登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 > Flume”进入Flume服务界面，在右上角选择“更多 > 下载客户端”，选择“选择客户端类型”为“完整客户端”，下载Flume服务客户端文件。 客
的ColumnarBatch支持，从而避免拥有聚合表的宽模式（大量key字段或value字段）时产生的性能问题。 操作步骤 要启动聚合算法优化，在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数介绍 参数 描述 默认值 spark.sql
查看Flume客户端监控信息 集群外的Flume客户端也是端到端数据采集的一环，与集群内Flume服务端一起都需要监控，用户通过FusionInsight Manager可以对Flume客户端进行监控，可以查看客户端的Source、Sink、Channel的监控指标以及客户端的进程状态。
如果当前组件使用了Ranger进行权限控制，须基于Ranger配置HDFS相关策略进行权限管理，具体操作可参考添加HDFS的Ranger访问权限策略。 操作步骤 登录FusionInsight Manager，选择“系统 > 权限 > 角色”。 单击“添加角色”，然后在“角色名称”和“描述”中输入角色名字与描述。
可以将扩容至少3个流式core节点，或参考如下步骤修改服务配置参数。 进入服务参数配置界面。 MRS Manager界面操作：登录MRS Manager，选择“服务管理 > Kafka > 服务配置”，“参数类别”设置为“全部配置”。 FusionInsight Manager界面操作：登录FusionInsight
如果通过MRS管理控制台操作，需要已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 添加删除集群组件步骤 登录MRS管理控制台。 选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 在集群详情页，选择“组件管理 > 添加服务”。
使用Hadoop客户端删除OBS上数据时报.Trash目录没有权限错误 问题描述 执行hadoop fs -rm obs://<obs_path>出现如下报错： exception [java.nio.file.AccessDeniedException: user/root/.Trash/Current/:
Put接口将流数据写入Hbase表中。 数据规划 在客户端执行hbase shell进入HBase命令行。 在HBase命令执行下面的命令创建HBase表： create 'streamingTable','cf1' 在客户端另外一个session通过linux命令构造一个端口进
该值的待导入文件需要通过调整Broker Load的导入参数来实现大文件的导入。 处理步骤 根据当前BE实例的个数和待导入文件的大小修改单个BE的任务的最大扫描量和最大并发数。操作如下： 登录FusionInsight Manager，选择“集群 > 服务 > Doris”，在概
1/quick-start.html。 常用CLI Spark常用的CLI如下所示： spark-shell 提供了一个简单学习API的方法，类似于交互式数据分析的工具。同时支持Scala和Python两种语言。在Spark目录下，执行./bin/spark-shell即可进入Scala交互式界面从HDFS中获取数据，再操作RDD。
1/quick-start.html。 常用CLI Spark常用的CLI如下所示： spark-shell 提供了一个简单学习API的方法，类似于交互式数据分析的工具。同时支持Scala和Python两种语言。在Spark目录下，执行./bin/spark-shell即可进入Scala交互式界面从HDFS中获取数据，再操作RDD。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
