检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
s Denied的错误。 问题现象 报错如下： CREATE SCHEMA hive.sf2 WITH (location = 'obs://obs-zy1234/sf2');Query 20200224_031203_00002_g6gzy failed: Access Denied:
集群退订后，资源和数据将会被删除并且无法找回，请务必确认完成数据备份后再提交退订。退订规则请参见退订规则说明。 当集群已对接了OBS（存算分离或者冷热分离场景），若需要删除组件或者MRS集群，需要在删除组件或者集群后，手工将OBS上相关的业务数据进行删除。 删除MRS按需集群 登录MRS管理控制台。 在左侧导航栏中选择“现有集群”。
out和OOM错误。 因为数据量大，task数多，而wordcount每个task都比较小，完成速度快。当task数多时driver端相应的一些对象就变大了，而且每个task完成时executor和driver都要通信，这就会导致由于内存不足，进程之间通信断连等问题。 当把Driver的内存设置到4g时，应用成功跑完。
Leader从Follower中自动选出，FE Leader提供元数据读写服务，Follower和Observer只有读取权限，无写入权限。 Follower Follower只有元数据读取权限，无写入权限，Follower参与Leader选举。 Observer Observer
UI五种方式，可参考HDFS常用API介绍、HDFS Shell命令介绍。 JAVA API 提供HDFS文件系统的应用接口，本开发指南主要介绍如何使用Java API进行HDFS文件系统的应用开发。 C API 提供HDFS文件系统的应用接口，使用C语言开发的用户可参考C接口的描述进行应用开发。
anager访问实际上就是用户跨域使用。集群配置互信具体操作步骤请参考集群互信管理章节。 多集群互信场景下，以符合跨域访问的用户身份，使用从其中一个manager系统中获取到的用于Kerberos安全认证的keytab文件和principal文件，以及多个Manager系统各自的
MapReduce访问多组件样例代码 功能介绍 主要分为三个部分： 从HDFS原文件中抽取name信息，查询HBase、Hive相关数据，并进行数据拼接，通过类MultiComponentMapper继承Mapper抽象类实现。 获取拼接后的数据取最后一条输出到HBase、HDF
int实现容错，用户可以自定义对整个任务的Checkpoint策略，当任务出现失败时，可以将任务恢复到最近一次Checkpoint的状态，从数据源重发快照之后的数据。 Savepoint：一个Savepoint就是应用状态的一致性快照，Savepoint与Checkpoint机制
MRS大数据组件 解决Spark JobHistory内存泄露问题 Hadoop/Hive/Spark支持OBS FileSystem Hadoop/Hive/Spark支持OBS加密功能 MRS 1.8.10.3 修复问题列表： MRS Manager 解决磁盘IO使用率一直不变问题
使用Flink Web页面查看Flink应用程序运行情况 Flink Web页面主要包括了Overview、Running Jobs、Completed Jobs、Task Managers、Job Manager和Logout等部分。 在YARN的Web UI界面，查找到对应的Fl
UI五种方式，可参考HDFS常用API介绍、HDFS Shell命令介绍。 JAVA API 提供HDFS文件系统的应用接口，本开发指南主要介绍如何使用Java API进行HDFS文件系统的应用开发。 C API 提供HDFS文件系统的应用接口，使用C语言开发的用户可参考C接口的描述进行应用开发。
UI五种方式，可参考HDFS常用API介绍、HDFS Shell命令介绍。 JAVA API 提供HDFS文件系统的应用接口，本开发指南主要介绍如何使用Java API进行HDFS文件系统的应用开发。 C API 提供HDFS文件系统的应用接口，使用C语言开发的用户可参考C接口的描述进行应用开发。
API、WEB UI五种方式，可参考常用API介绍、HDFS Shell命令介绍。 JAVA API 提供HDFS文件系统的应用接口，本开发指南主要介绍如何使用Java API进行HDFS文件系统的应用开发。 C API 提供HDFS文件系统的应用接口，使用C语言开发的用户可参考C接口的描述进行应用开发。
MapReduce访问多组件样例代码 功能介绍 主要分为三个部分： 从HDFS原文件中抽取name信息，查询HBase、Hive相关数据，并进行数据拼接，通过类MultiComponentMapper继承Mapper抽象类实现。 获取拼接后的数据取最后一条输出到HBase、HDF
连接，每种连接在该场景中需要配置连接的属性。 本章节适用于MRS 3.x之前版本。 obs-connector 表1 obs-connector数据源连接属性 参数 说明 桶名 保存源数据的OBS文件系统。 源目录或文件 源数据实际存储的形态，可能是文件系统包含一个目录中的全部数
AggregatedLogs 查看运行中的任务日志 在Spark2x原生页面，通过“Jobs > Stage > Task”找到对应的executor，单击后面的stdout或者stderr查看整个executor日志。 图3 Jobs 图4 Stage 图5 Task 参考信息 通过单击stdout
获取样例代码。 下载样例工程的Maven工程源码和配置文件，请参见获取MRS应用开发样例工程。 将样例代码导入IDEA中。 获取配置文件。 从集群的客户端中获取文件。在“$SPARK_HOME/conf”中下载hive-site.xml与spark-defaults.conf文件到本地。
如为test用户在“default”库中的“datagen”表添加“a<>1”过滤条件。 使用权限配置完成的用户通过FlinkServer提交FlinkSQL作业，详情可参考如何创建FlinkServer作业。 SQL示例如下： CREATE CATALOG myhive WITH ( 'type' = 'hive'
使用flink_admin登录Manager，选择“集群 > 服务 > Flink”，在“Flink WebUI”右侧，单击链接，访问Flink的WebUI。 参考如何创建FlinkServer作业，新建Flink SQL流作业，在作业开发界面进行如下作业配置。然后输入SQL，执行SQL校验通过后，启动作
scala:499) at kafka.common.ZkNodeChangeNotificationListener$$anonfun$purgeObsoleteNotifications$1.apply(ZkNodeChangeNotificationListener.scala:118)
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
