检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
K”。 Flink相关的依赖包：选择“lib”目录下的所有Jar包。或者可以根据不同样例工程，最小化选择其对应的Jar包。 当样例代码使用其他MRS组件时，请去对应MRS组件的服务端安装目录查找并添加依赖包。 图19 Select Library Files 在“Choose M
修改该DataNode节点的配置参数“dfs.datanode.data.dir”的值，对于其中磁盘挂载目录相同的DataNode目录，仅保留其中的一个目录，删除其他目录。 继续执行24。 重启DataNode，检查告警是否消除。 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称
id}” 运行中的任务日志存储在以上路径中，运行结束后会基于Yarn的配置确定是否汇聚到HDFS目录中，详情请参见Yarn常用配置参数。 其他日志：“/var/log/Bigdata/spark2x” 日志归档规则： 使用yarn-client或yarn-cluster模式提交任
待操作集群的名称 > 服务 > HDFS”。 在“基本信息”区域，单击“NameNode(主)”，进入HDFS WebUI页面。 admin用户默认不具备其他组件的管理权限，如果访问组件原生界面时出现因权限不足而打不开页面或内容显示不全时，可手动创建具备对应组件管理权限的用户进行登录。 在HDFS
表名"; 需要添加组件操作用户到Ranger策略中的URL策略，URL填写对象在OBS上的完整路径，权限选择Read, Write 权限，其他权限不涉及URL策略。详细操作MRS 3.x之前版本请参考在Ranger中配置Hive的访问权限，MRS 3.x及之后版本请参考添加Hive的Ranger访问权限策略。
如果是跨集群对Hive数据库进行导入导出，且目标集群和源集群都开启了Kerberos认证，需配置跨集群互信。 如果使用Dump/Load命令导入导出其他用户创建的数据库，需要授予用户对应数据库的权限： 集群未启用Ranger鉴权，需登录FusionInsight Manager授予该用户所
lzo, snappy）来选择Parquet和Orc表的压缩格式；由于Hive和Spark表在可选的压缩格式上有区别，除以上列出的压缩格式外，其他的压缩格式不支持。 合并桶表数据，需要先在Spark2x客户端的hive-site.xml里加上配置： <property> <name>hive
权限类型 权限名 java.lang.RuntimePermission accessDeclaredMembers：允许代码使用反射访问其他类中私有或保护的成员。 createClassLoader：允许代码实例化类加载器。 createSecurityManager：允许代码
ine处理数据，时延毫秒级，且兼具可靠性。 Flink技术栈如图1所示。 图1 Flink技术栈 Flink在当前版本中重点构建如下特性，其他特性继承开源社区，不做增强。 DataStream Checkpoint 窗口 Job Pipeline 配置表 架构 Flink架构如图2所示。
ine处理数据，时延毫秒级，且兼具可靠性。 Flink技术栈如图1所示。 图1 Flink技术栈 Flink在当前版本中重点构建如下特性，其他特性继承开源社区，不做增强，具体请参考：https://ci.apache.org/projects/flink/flink-docs-release-1
客户端处理能力下降。具体性能以现场实际测试数据为准。 可用性降低： 不允许不在ISR中的副本被选举为Leader。如果Leader下线时，其他副本均不在ISR列表中，那么该分区将保持不可用，直到Leader节点恢复。当分区的一个副本所在节点故障时，无法满足最小写入成功的副本数，那么将会导致业务写入失败。
HBase”，单击“HMaster(主)”，打开该HBase实例的WebUI，查看RegionServer上Region分布是否均衡。 admin用户默认不具备其他组件的管理权限，如果访问组件原生界面时出现因权限不足而打不开页面或内容显示不全时，可手动创建具备对应组件管理权限的用户进行登录。 是，执行9。
上数据量很大。数据倾斜严重，导致HDFS写任务失败。 由于数据倾斜，导致MapReduce只会在某几个节点访问，造成这些节点上负载很大，而其他节点闲置。 针对单个应用程序任务，只能使用一次DFSColocationAdmin和DFSColocationClient实例。如果每次对
ue2使用了<vcore 5, memory 10GB>。 被抢占的队列的资源如果CPU或内存中有一个资源满足minimum资源，就不会被其他队列抢占。 操作步骤 参数入口： 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。 表1 Preemption配置
Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。 MRS 2.1.0.9补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端（即您自行搭建的客户端）。 主备Master节点的原始客户端全量更新，请参见更新客户端配置（2.x及之前版本）。 自行搭建
用，滚动重启服务不断服。 MRS 2.1.0.10补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端（即您自行搭建的客户端）。 主备Master节点的原始客户端全量更新，请参见更新客户端配置（2.x及之前版本）。 自行搭建
不正常，不能执行恢复操作。 停止依赖MRS集群运行的上层业务应用。 在MRS Manager停止所有待恢复数据的NameNode角色实例，其他的HDFS角色实例必须保持正常运行，恢复数据后重启NameNode。NameNode角色实例重启前无法访问。 检查NameNode备份文件
创建Stream Load导入任务 Stream Load通过HTTP协议提交和传输数据。该操作通过curl命令演示如何提交导入，也可以使用其他HTTP Client进行操作。 集群已启用Kerberos认证（安全模式）： curl -k --location-trusted -u
建弹性公网IP，然后在弹性公网IP下拉框中选择对应的弹性公网IP。 如果已创建弹性公网IP，但在绑定时无法找到，可能是由于该弹性公网IP被其他集群绑定，请先在弹性公网IP界面解绑，然后再为当前集群绑定。 检查安全组设置是否正常。 弹性IP绑定成功后，如果仍旧无法访问Manager
在“备份对象”选择待操作的集群。 在“备份类型”选择备份任务的运行类型，包括： 周期备份：表示按周期自动执行备份，若选择周期备份，还需参考表1配置其他参数。 手动备份：表示由手工执行备份。 表1 周期备份参数 参数名称 描述 开始时间 任务第一次启动的时间。 周期 任务下次启动与上一次运
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
