检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
status SQL语句的执行状态,有RUNNING、COMPLETED、FAILED三种 runningJobs SQL语句产生的job中,正在执行的job列表 successedJobs SQL语句产生的job中,执行成功的job列表 failedJobs SQL语句产生的job中,执行失败的job列表
产生告警的主机名。 对系统的影响 当Guardian调用ECS的securitykey接口失败时,可能会导致任务获取访问OBS的临时aksk失败,进而业务无法正常访问OBS。 可能原因 集群未绑定ECS委托。 ECS底层接口异常,导致请求失败。 处理步骤 确认是否绑定委托。 登录MapReduce服务管理控制台。
status SQL语句的执行状态,有RUNNING、COMPLETED、FAILED三种 runningJobs SQL语句产生的job中,正在执行的job列表 successedJobs SQL语句产生的job中,执行成功的job列表 failedJobs SQL语句产生的job中,执行失败的job列表
在弹性云服务管理控制台,创建一个新的弹性云服务器。 弹性云服务器的“可用分区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。 其他配置参数详细信息,请参见“弹性云服务器 > 快速入门 > 购买并登录Windows弹性云服务器”。 开启Kerberos认证集群需
到降低OBS服务端带宽的作用,利用MemArtsCC的本地存储,访问热点数据不必跨网络,可以提升HetuEngine的数据读取效率。 前提条件 Guardian服务正常,且已开启存算分离,具体请参考配置Guardian服务对接OBS。 已完成HetuEngine对接OBS,具体请
加备份数量不能提升系统效率,只会提升系统数据的安全系数;在某个节点损坏时,该节点上的数据会被均衡到其他节点上。 HDFS定期镜像备份 NameNode的镜像备份参数为“fs.namenode.image.backup.enable”,将设置该值为“true”,系统即可定期备份NameNode的数据。
装Agent。 表1 主机防护开启操作 操作步骤 相关说明 步骤一 购买主机安全防护配额 主机安全服务有基础版、企业版、旗舰版供您选择,具体功能详情及版本差异详情请参见版本功能差异说明。 购买时,“防护主机数量”需跟MRS集群中的节点数量保持一致。 图3 防护主机数量 步骤二 安装Agent
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 当Guardian服务不可用时,业务无法正常访问OBS。 可能原因 Guardian服务所依赖内部服务HDFS故障。 TokenServer角色实例异常。 处理步骤 检查HDFS服务状态。 在FusionInsight
volumes.cold_obs_volume.disk 配置OBS盘或缓存名称 cold_obs_volume:OBS冷数据存储策略卷名,可以自定义修改。 当不使用本地盘缓存时,配置OBS盘名称,例如disk_s3。 当使用本地磁盘缓存时,配置缓存的名称,例如obs_cache。 storage_configuration
群,可以起到降低OBS服务端带宽的作用,利用MemArtsCC的本地存储,访问热点数据不必跨网络,可以提升Spark的数据读取效率。 前提条件 Guardian服务正常,且已开启存算分离,具体请参考配置Guardian服务对接OBS。 已完成Spark对接OBS,具体请参考配置S
Hive使用WHERE条件查询超过3.2万分区的表报错 使用IBM的JDK访问Beeline客户端出现连接HiveServer失败 Hive表的Location支持跨OBS和HDFS路径吗 MapReduce引擎无法查询Tez引擎执行union语句写入的数据 Hive是否支持对同一张表或分区进行并发写数据 Hive是否支持向量化查询
obs://obs-mrstest/data Mounted obs://obs-mrstest/data at /mnt/obs 通过Alluxio命名空间列出OBS文件系统中的文件。使用ls命令列出OBS挂载目录下的文件。 alluxio fs ls /mnt/obs 38
前提条件 源分组和目标分组均存在。 当前用户具备源分组和目标分组的编辑“Group Edit”权限。 当前用户具备源分组的作业编辑“Jobs Edit”权限或待迁移作业的编辑“Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight M
集群退订后,资源和数据将会被删除并且无法找回,请务必确认完成数据备份后再提交退订。退订规则请参见退订规则说明。 当集群已对接了OBS(存算分离或者冷热分离场景),若需要删除组件或者MRS集群,需要在删除组件或者集群后,手工将OBS上相关的业务数据进行删除。 删除MRS按需集群 登录MRS管理控制台。 在左侧导航栏中选择“现有集群”。
Impala服务是否支持磁盘热插拔 问题 MRS集群中Impala服务是否支持磁盘热插拔? 回答 Impala服务的数据一般是存储在HDFS或者OBS(对象存储服务)中,无需直接使用本地节点的磁盘。 仅Impalad实例在业务查询执行过程中由于内存空间不足,才需要溢写到磁盘(由--scratch_dirs指定)。
Impala服务是否支持磁盘热插拔 问题 MRS集群中Impala服务是否支持磁盘热插拔? 回答 Impala服务的数据一般是存储在HDFS或者OBS(对象存储服务)中,无需直接使用本地节点的磁盘。 仅Impalad实例在业务查询执行过程中由于内存空间不足,才需要溢写到磁盘(由--scratch_dirs指定)。
产生告警的主机名称。 对系统的影响 集群获取不到最新的临时AK/SK,存算分离场景下,可能导致访问OBS失败,引起组件业务无法正常处理。 可能原因 MRS集群meta角色状态异常。 集群绑定过委托且访问过OBS,但是已经解绑了,现在未绑定委托。 处理步骤 检查meta角色状态。 在集群的FusionInsight
集群管理 集群生命周期管理 集群在线扩缩容 创建Task节点 自动弹性伸缩 节点隔离 升级Master节点规格 节点标签管理 父主题: 产品功能
执行程序参数 输入“访问OBS的AK信息 访问OBS的SK信息 1 输入路径 输出路径”。 AK/SK请参考说明方式获取。 1为固定输入,用于指定作业执行时调用的程序函数。 输入路径可通过单击“OBS”进行选择输入路径。 输出路径请手动输入一个不存在的目录,例如obs://obs-demo-
x及后续版本。 前提条件 源分组和目标分组均存在。 当前用户具备源分组和目标分组的编辑“Group Edit”权限。 当前用户具备源分组的作业编辑“Jobs Edit”权限或待迁移作业的编辑“Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight M