检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Karlie,23 Candice,27 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /data（hdfs dfs命令有同样的作用），创建对应目录。 在Linux系统HDFS客户端使用命令hadoop fs -put data /data，上传数据文件。
r，让其每秒向Kafka集群某Topic发送一条消息，另外还需要实现一个Consumer，订阅该Topic，实时消费该类消息。 开发思路 使用Linux客户端创建一个Topic。 开发一个Producer向该Topic生产数据。 开发一个Consumer消费该Topic的数据。 性能调优建议
安全集群外的客户端访问HBase很慢 问题现象 用户创建了MRS安全集群，在集群外节点安装了集群客户端，并使用客户端命令hbase shell访问HBase，发现访问HBase非常慢。 原因分析 安全集群需要进行Kerberos认证，需要在客户端节点的hosts中配置信息，访问速度才不会受到影响。
后，Presto即可通过presto_cli.sh客户端创建表存储在OBS中。 Presto对接OBS 未开启Kerberos认证的集群 使用客户端安装用户，登录已安装客户端的节点。 执行以下命令配置环境变量： cd 客户端安装目录 source bigdata_env 执行如下命令连接客户端。
启动停止MRS集群 当不再需要使用MRS集群或对集群进行故障修复时，用户可以通过在MRS管理控制台或Manager中停止集群，集群停止后，集群内的组件将无法对外提供服务。 用户也可以将已停止的集群再次启动。 前提条件 如果通过MRS管理控制台操作，需要已完成IAM用户同步（在集群
升级Master节点规格需要关机吗？ 问： 在MRS集群中升级Master节点规格时需要手动关机吗？ 答： 随着用户业务的增长，Core节点的扩容，CPU使用率变高，而Master节点规格已经不满足用户需求时，则需要升级Master节点规格。 MRS服务集群的Master节点规格升级时会自动触发
身份认证与访问控制 身份认证 MRS支持安全协议Kerberos，使用LDAP作为账户管理系统，并通过Kerberos服务对账户信息进行安全认证。 Kerberos安全认证原理和认证机制具体介绍请参见安全认证原理和认证机制。 访问控制 MRS提供两种访问控制权限模型：基于角色的权
可以使用该工具将原节点上的部分数据迁移至新增节点上，从而达到扩容后的数据均衡。 高可用HA部署架构 MRS服务提供了基于ELB的HA部署架构，可以将用户访问流量自动分发到多台后端节点，扩展系统对外的服务能力，实现更高水平的应用容错。如图3所示，客户端应用请求集群时，使用ELB（Elastic
0之前，HDFS集群中存在单点故障问题。由于每个集群只有一个NameNode，如果NameNode所在机器发生故障，将导致HDFS集群无法使用，除非NameNode重启或者在另一台机器上启动。这在两个方面影响了HDFS的整体可用性： 当异常情况发生时，如机器崩溃，集群将不可用，除非重新启动NameNode。
分为以下几种数据复制场景。 同Region 当源集群与目标集群处于同一Region时，根据打通数据传输通道进行网络配置，打通网络传输通道。使用Distcp工具执行如下命令将源集群的HDFS、HBase、Hive数据文件以及Hive元数据备份文件复制至目的集群。 $HADOOP_HOME/bin/hadoop
Doris连接运行规范 连接Doris和运行Doris任务时需遵循的规范如下： 推荐使用ELB连接Doris，避免当连接的FE故障时，无法对外提供服务。 当Doris单实例或硬件故障时，新提交的任务能运行成功，但不能确保故障时正在运行的任务能执行成功。因此，需要用户连接Doris
r，让其每秒向Kafka集群某Topic发送一条消息，另外还需要实现一个Consumer，订阅该Topic，实时消费该类消息。 开发思路 使用Linux客户端创建一个Topic。 开发一个Producer向该Topic生产数据。 开发一个Consumer消费该Topic的数据。 性能调优建议
HDFS适用于如下场景。 处理海量数据（TB或PB级别以上） 需要很高的吞吐量 需要高可靠性 需要很好的可扩展能力 HDFS开发接口简介 HDFS支持使用Java语言进行程序开发，具体的API接口内容请参考HDFS Java API接口介绍。 父主题： HDFS应用开发概述
按需转包年/包月 如果您需要长期使用当前按需购买的MRS集群，可以将该MRS集群转为包年/包月计费模式，以节省开支。按需计费变更为包年/包月会生成新的订单，用户支付订单后，包年/包月资源将立即生效。 假设用户于2023/06/18 15:29:16购买了一个按需计费的MRS集群，由于业务需要，于2023/06/18
【Ranger WebUI】新用户修改完密码后无法登录Ranger WebUI界面 问题 使用新建用户登录Ranger页面，为什么在修改完密码后登录报401错误？ 回答 由于UserSync同步用户数据有时间周期，默认是5分钟，因此在Manager上新创建的用户在用户同步成功前无
（-）和空格。 “用户名”不能与集群各节点所有操作系统用户名相同，否则此用户无法正常使用。 不支持创建两个名称相同但大小写不同的用户。例如已创建用户“User1”，无法创建用户“user1”。使用“User1”时请输入正确的用户名。 用户类型 可选值包括“人机”和“机机”。 “人
模式下，不兼容老版本的客户端。推荐使用yarn-cluster模式。 客户端向ResourceManager发送Spark应用提交请求，ResourceManager为其返回应答，该应答中包含多种信息(如ApplicationId、可用资源使用上限和下限等)。Client端将启动
aster和相关的NodeManager通讯，在获得的Container上启动Executor，Executor启动后，开始向Driver注册并申请Task。 Driver分配Task给Executor执行。 Executor执行Task并向Driver汇报运行状况。 YARN Client模式
执行以下命令创建目的表t2： create table t2(col1 int,col2 int); 本样例工程中创建的表使用Hive默认的存储格式，暂不支持指定存储格式为ORC的表。 执行以下命令使用Yarn客户端提交任务： yarn --config $HADOOP_HOME/etc/hadoop
执行以下命令创建目的表t2： create table t2(col1 int,col2 int); 本样例工程中创建的表使用Hive默认的存储格式，暂不支持指定存储格式为ORC的表。 执行以下命令使用Yarn客户端提交任务： yarn --config $HADOOP_HOME/etc/hadoop
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
