检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HDFS（Hadoop Distribute FileSystem）是一个适合运行在通用硬件之上，具备高度容错特性，支持高吞吐量数据访问的分布式文件系统，适合大规模数据集应用。 HDFS适用于如下场景。 处理海量数据（TB或PB级别以上） 需要很高的吞吐量 需要高可靠性 需要很好的可扩展能力
客户端直接面向用户，可通过Java API、Thrift API访问服务端进行Hive的相关操作。本文中的Hive客户端特指Hive client的安装目录，里面包含通过Java API访问Hive的样例代码。 HiveQL语言 Hive Query Language，类SQL语句。 HCatalog
productNameIndexTable ON productdb.productSalesTable; 系统响应 二级索引表将被删除，索引信息将在CarbonData表中被清除，删除成功的消息将记录在系统日志中。 父主题： CarbonData语法参考
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 OBS元数据接口调用平均时间超过阈值，会影响上层大数据计算业务的性能，导致某些计算任务的执行时间超过阈值。 可能原因
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 OBS元数据接口调用成功率小于阈值，会影响上层大数据计算业务的正常执行，导致某些计算任务的执行失败。 可能原因
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 OBS数据写操作接口调用成功率小于阈值，会影响上层大数据计算业务的正常执行，导致某些计算任务的执行失败。 可能原因
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 OBS数据读操作接口调用成功率小于阈值，会影响上层大数据计算业务的正常执行，导致某些计算任务的执行失败。 可能原因
id低32位超过设定阈值，则上报告警。 当系统检测到zxid低32位低于设定阈值时，告警恢复。 告警属性 告警ID 告警级别 是否可自动清除 45449 重要 是 告警参数 类别 参数名称 参数含义 定位信息 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名
MRS服务集群开启了Kerberos认证，没有开启Kerberos认证的集群忽略该步骤。 操作步骤 登录MRS Manager，在MRS Manager界面选择“系统设置 > 角色管理 > 添加角色”。 填写角色的名称，例如mrrole。 编辑角色，在“权限”的表格中选择“Yarn > Scheduler
上传数据至OBS。 登录OBS控制台。 单击“并行文件系统 > 创建并行文件系统”，创建一个名称为sparksql的文件系统。 sparksql仅为示例，文件系统名称必须全局唯一，否则会创建并行文件系统失败。 单击sparksql文件系统名称，并选择“文件”。 单击“新建文件夹”，创建input文件夹。
业前需要将待分析数据上传至OBS系统，MRS使用OBS中的数据进行计算分析。 MRS也支持将OBS中的数据导入至HDFS中，使用HDFS中的数据进行计算分析。数据完成处理和分析后，您可以将数据存储在HDFS中，也可以将集群中的数据导出至OBS系统。HDFS和OBS也支持存储压缩格
Manager。 选择“系统管理 > 用户管理”。 在使用的用户所在行的单击“修改”。 为用户添加supergroup组。 单击“确定”完成修改操作。 FusionInsight Manager界面操作： 登录FusionInsight Manager。 选择“系统 > 权限 > 用户”。
设置文件权限等，其他操作可以在掌握本代码样例之后，再扩展学习。 本代码样例讲解顺序为： 文件系统初始化 写文件 读文件 开发思路 调用FileSystem中的create接口获取文件系统客户端 调用FileSystem中的crteateFile接口创建文件 调用FileOutStream中的wirte接口写文件
productNameIndexTable ON productdb.productSalesTable; 系统响应 二级索引表将被删除，索引信息将在CarbonData表中被清除，删除成功的消息将记录在系统日志中。 父主题： DML
如果旧集群使用HIVE元数据库来存储表结构，则刷新将不起作用，因为文件系统中不存在表结构定义schema文件。 示例 REFRESH TABLE dbcarbon.productSalesTable; 系统响应 通过运行该命令，已有的Carbon表数据会被注册到Hive元数据库中。
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 正在运行的调度任务会阻塞，无法提交新的调度任务。在HA模式下，Oozie服务会重启。 可能原因 ZooKeeper服务异常。
执行程序时引入的jackson相关包与集群自带的包版本不一致，导致报错，建议使用集群自带的jackson相关jar包。 集群jar包路径：“客户端安装目录/Spark2x/spark/jars”或者“客户端安装目录/Spark/spark/jars”。 父主题： MRS应用开发开源jar包冲突列表说明
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 RegionServer RPC响应时间的P99超过阈值，会影响RegionServer对外提供服务的能力。
删除MRS集群 一般在数据完成分析和存储后或集群异常无法提供服务时才执行集群删除或退订操作。当MRS集群部署失败时，集群会被自动删除或退订。 对于按需收费模式集群，如果作业执行结束后不需要集群， 可以删除MRS集群。集群删除或退订后不再产生费用。 对于包年包月模式集群无法执行删除操作，如果作业执行结束后不需要集群，
网络问题导致运行应用程序时出现异常 问题 应用程序在Windows环境下运行时，发现连接不上MRS集群，而在Linux环境下（和安装了MRS集群的机器是同一个网络）却运行正常。 回答 由于Kerberos认证需要使用UDP协议，而防火墙做了特殊处理关掉了需要使用的UDP端口，导致
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
