检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表3 大数据组件信息 大数据组件 源端集群版本 目的端集群版本(以MRS集群版本为准) 说明 HDFS/OBS(或其他文件存储系统) Hadoop 2.8.3 Hadoop 3.3.1 - Hive 1.2.1 2.3.3 存储元数据的数据库:MySQL HBase 1.3.1 1.3.1
OBS权限控制 MRS用户与OBS权限的映射关系。 数据连接 集群关联的数据连接类型。 委托 集群绑定或修改的委托。 密钥对 密钥对名称,创建集群时设置。 如果创建集群时设置的登录方式为密码,则不显示。
如何处理blob.storage.directory配置/home目录时启动yarn-session失败 问题 当用户设置“blob.storage.directory”为“/home”时,用户没有权限在“/home”下创建“blobStore-UUID”的文件,导致yarn-session
“include”策略适用于当前输入的对象,“exclude”表示策略适用于除去当前输入内容之外的其他对象。 Policy Label 为当前策略指定一个标签,您可以根据这些标签搜索报告和筛选策略。 Storm Topology 配置当前策略适用的拓扑名称。可以填写多个值。
配置文件对象数阈值:修改GC_OPTS参数中Xmx的值(Xmx内存值对应文件数阈值的公式为(y = 0.2007 x - 0.6312),其中x为内存数Xmx(GB),y为文件数(单位KW)。用户根据需要调整内存大小)。
对象 触发告警的服务、进程或模块。 是否自动清除 能够在问题修复后自动清除告警。 告警状态 告警当前状态,包含自动清除、手动清除、未清除。 告警原因 告警可能的原因提示。 序列号 系统产生的告警计数。 附加信息 相关报错信息。
综上基本可以得出操作文件的程序库框架: operator() { 得到Configuration对象 得到FileSystem对象 进行文件操作 } HDFS初始化方法 HDFS初始化是指在使用HDFS提供的API之前,需要做的必要工作。
选择“运维 > 告警 > 事件”,进入事件界面,用户可以查看集群中所有事件信息,包括名称、ID、级别、产生时间、对象、定位信息等,每页默认显示最近的十条事件。 单击“导出全部”可导出全部事件详情。 单击手动刷新当前页面,也可在修改事件表格显示的列。
在弹出的窗口中,在指定一次执行成功记录的“备份路径”列,单击“查看”,打开此次任务执行的备份路径信息,查找以下信息: “备份对象”表示备份的数据源。 “备份路径”表示备份文件保存的完整路径。 选择正确的项目,在“备份路径”手工选中备份文件的完整路径并复制。
“Include”策略适用于当前输入的对象,“Exclude”表示策略适用于除去当前输入内容之外的其他对象。 column 适用该策略的列名,填写*时表示所有列。 “Include”策略适用于当前输入的对象,“Exclude”表示策略适用于除去当前输入内容之外的其他对象。
“Include”策略适用于当前输入的对象,“Exclude”表示策略适用于除去当前输入内容之外的其他对象。 column 适用该策略的列名,填写*时表示所有列。 “Include”策略适用于当前输入的对象,“Exclude”表示策略适用于除去当前输入内容之外的其他对象。
var connection: Connection = null try { //获取hbase连接 connection = ConnectionFactory.createConnection(hbConf); //获取table对象
前提条件 当前用户具备待导出作业的编辑“Edit”权限或作业所在分组的编辑“Jobs Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问集群Manager。
schema是表、视图以及其他数据库对象的容器。当指定可选参数IF NOT EXISTS时,如果系统已经存在同名的schema,将不会报错。 Schema默认路径为hdfs://hacluster/user/hive/warehouse/。
单击“组件管理”观察各个组件是否存在异常,若存在异常等待5~10分钟后再次观察组件,依然存在异常则联系华为云技术支持处理。 单击“告警管理”观察是否存在异常告警,若存在请清除告警后再进行其他操作。 父主题: MRS集群容量调整
查看Yarn界面,无launcher-job队列: 查看Manager界面接口返回,显示有launcher-job信息: 查看所有的JobServer日志,均有“Create and modify launcher-job tenant failed.”打印。
可选择按“容量”或“文件对象数”观察。 资源使用(按用户) 按用户统计HDFS的资源使用情况。 可选择按“已使用容量”或“文件对象数”观察。 资源使用(按目录) 按目录统计HDFS的资源使用情况。 可选择按“已使用容量”或“文件对象数”观察。
MRS_ECS_DEFAULT_AGENCY委托拥有对象存储服务的OBS OperateAccess权限和在集群所在区域拥有CES FullAccess(对开启细粒度策略的用户)、CES Administrator和KMS Administrator权限。
当同一种数据连接的源端或者目的端连接器的版本不一致时,存在jar包冲突的情况,这时需要将源端或目的端放在STANDALONE进程里,防止冲突导致迁移失败。 EMBEDDED 是否使用集群配置 您可以通过使用集群配置,简化Hive连接参数配置。
HDFS租户文件对象信息 已使用的文件对象个数 Yarn Yarn当前已分配的CPU核数 AM分配的最大CPU核数 已分配的CPU核数 AM已使用的CPU核数 当前租户的监控信息。如某租户未配置相应子项,则不显示。