检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
20150303,男,City9 登录对象存储服务OBS控制台，单击“并行文件系统 > 创建并行文件系统”，填写以下参数，单击“立即创建”。 表2 并行文件系统参数 参数项 取值 区域 华北-北京四 文件系统名称 mrs-hbase 数据冗余存储策略 单AZ存储 策略 私有 归档数据直读
Hadoop shell命令 Hadoop基本shell命令，包括提交MapReduce作业，kill MapReduce作业，进行HDFS文件系统各项操作等。 MapReduce输入输出(InputFormat，OutputFormat) MapReduce框架根据用户指定的Inp
ALM-12172 指标上报CES失败 告警解释 集群开启指标共享后，controller周期性的收集集群指标信息并上报到CES。 告警属性 告警ID 告警级别 是否自动清除 12172 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或者系统名称 服务名 产生告警的服务名称
ALM-12015 设备分区文件系统只读（2.x及以前版本） 告警解释 系统周期性进行扫描，如果检测到挂载服务目录的设备分区变为只读模式（如设备有坏扇区、文件系统存在故障等原因），则触发此告警。 系统如果检测到挂载服务目录的设备分区的只读模式消失（比如文件系统修复为读写模式、设备拔出
ster则负责MapReduce作业的数据切分、任务划分、资源申请和任务调度与容错等工作。 Yarn和ZooKeeper的关系 ZooKeeper与Yarn的关系如图3所示。 图3 ZooKeeper与Yarn的关系 在系统启动时，ResourceManager会尝试把选举信息写
文件错误导致上传文件到HDFS失败 问题背景与现象 用hadoop dfs -put把本地文件拷贝到HDFS上，有报错。 上传部分文件后，报错失败，从NameNode原生页面看，临时文件大小不再变化。 原因分析 查看NameNode日志“/var/log/Bigdata/hdfs
在OBS上创建userdata并行文件系统，然后在userdata文件系统下创建program、input、output和log文件夹。 单击“并行文件系统 > 创建并行文件系统”，创建一个名称为userdata的文件系统。 在OBS文件系统列表中单击文件系统名称userdata，选择“文件
文件输出 概述 “文件输出”算子，用于配置已生成的字段通过分隔符连接并输出到文件。 输入与输出 输入：需要输出的字段 输出：文件 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出分隔符 配置分隔符。 string 是 无 换行符 用户根据数据实际情况，填写字
文件最大打开句柄数设置太小导致读写文件异常 问题背景与现象 文件最大打开句柄数设置太小，导致文件句柄不足。写文件到HDFS很慢，或者写文件失败。 原因分析 DataNode日志“/var/log/Bigdata/hdfs/dn/hadoop-omm-datanode-XXX.log”，存在异常提示java
structure, [compression]) path：访问域名/OBS文件路径，登录OBS管理控制台，在左侧导航栏单击“并行文件系统”，在“并行文件系统”页面单击对应的文件系统名称，在“文件”页面单击文件名称，文件“链接”即path路径，如图1所示。 图1 文件路径 ak：参数可选，具备访问OBS权限的ak。
x及之后的版本。 Flume对接OBS 创建用于存放数据的OBS文件夹。 登录OBS控制台。 单击“并行文件系统”进入并行文件系统页面。 在OBS控制台并行文件系统列表中，单击已新建的文件系统名称进入详情页面。 在左侧导航栏选择“文件 > 新建文件夹”新建“testFlumeOutput”文件夹。
参数类型 描述 total_count Long 参数解释： 文件总数，与分页无关。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 files Array of FileStatusV2 objects 参数解释： 文件列表。 约束限制： 不涉及 取值范围： 不涉及 默认取值：
启用缓存并将当前活动的NameNode的详细信息共享给其他客户端。若要启用缓存，需将其设置为“true”。 false dfs.client.failover.activeinfo.share.path 指定将在机器中的所有客户端创建的共享文件的本地目录。如果要为不同用户共享缓存，该文件夹应具有必需的
启用缓存并将当前活动的NameNode的详细信息共享给其他客户端。若要启用缓存，需将其设置为“true”。 false dfs.client.failover.activeinfo.share.path 指定将在机器中的所有客户端创建的共享文件的本地目录。如果要为不同用户共享缓存，该文件夹应具有必需的
选择“巡检授权”页签。 单击“取消授权”。 配置MRS集群运维日志远程共享 登录MRS管理控制台。 在左侧导航栏中选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 在页面右上角单击“运维”，选择“日志共享”，进入“日志共享”界面。 在“起止时间”的输入框单击选择日期和时间。
通常用区域和可用区来描述数据中心的位置，用户可以在特定的区域、可用区创建云服务资源。 区域（Region）：从地理位置和网络时延维度划分，同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region，通用Region
为什么将非ViewFS文件系统配置为ViewFS时MapReduce作业运行失败 问题 为什么将非ViewFS文件系统配置为ViewFS时MR作业运行失败？ 回答 通过集群将非ViewFS文件系统配置为ViewFS时，ViewFS中的文件夹的用户权限与默认NameService中
告该DataNode的数据存放情况。 NameNode 用于管理文件系统的命名空间、目录结构、元数据信息以及提供备份机制等。 Active NameNode：主NameNode，管理文件系统的命名空间、维护文件系统的目录结构树以及元数据信息；记录写入的每个“数据块”与其归属文件的对应关系。
删除HDFS文件 功能简介 删除HDFS上某个指定文件或者文件夹。 被删除的文件或文件夹，会被放在当前用户目录下的.Trash/Current文件夹中。若发生误删除，可从该文件夹中恢复。 代码样例 如下是删除文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs
Manager界面上重启Spark的JDBCServer2x实例。 重新打开指标共享 安装完此补丁后，如果之前集群已经开启指标共享功能，需要先单击关闭指标共享，再重新开启指标共享功能。 图1 开启集群指标共享 重新打开弹性伸缩 升级完补丁后需要重新打开弹性伸缩，操作如下： 登录华为云
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
