检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
下载认证凭据”,待文件自动生成后指定保存位置,并妥善保管该文件。 认证凭据中会携带kerberos服务的“krb5.conf”文件。 解压认证凭据文件后可以获取两个文件: “krb5.conf”文件包含认证服务连接信息。 “user.keytab”文件包含用户认证信息。 下载认证凭据文件(MRS
赖工具,将外部数据加载到Hive表各分区不是一件容易的事情。 云数据迁移服务(CDM)可以请轻松将外部数据源(关系数据库、对象存储服务、文件系统服务等)加载到Hive分区表。 本实践为您演示使用CDM云服务将MySQL数据导入到MRS集群内的Hive分区表中。 假设MySQL数据
--negotiate -u : "http://10.120.85.2:19888/ws/v1/history/mapreduce/jobs" 其中10.120.85.2为MapReduce的“JHS_FLOAT_IP”参数的参数值,19888为JobHistoryServer的端口号。
la、Spark、HDFS、Yarn、Mapreduce、Presto、HBase、Tez以及相关依赖服务,重启MRS Manager服务期间会引起服务暂时不可用,滚动重启服务不断服。 MRS 2.1.0.8补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户
否则无法创建备份任务。 如果数据要备份至NAS中,需要提前部署好NAS服务端。 如果数据要备份至OBS中,需要当前集群已对接OBS,并具有访问OBS的权限。MRS 3.5.0及之后版本支持备份数据到OBS。 备份Hive业务数据 在FusionInsight Manager,选择“运维
rpc.protection”配置项的值保持一致。 远端备份至HDFS,不支持HDFS加密目录。 如果数据要备份至OBS中,需要当前集群已对接OBS,并具有访问OBS的权限。 根据业务需要,规划备份任务的类型、周期、备份对象、备份目录等策略规格。 备份ClickHouse业务数据
org.apache.hadoop.hbase.coprocessor.CoprocessorHost$ObserverOperationWithoutResult.callObserver(CoprocessorHost.java:581) at org.apache.hadoop
解决相同AZ下,扩容的节点返回的AZ有误问题 解决[YARN-10854]问题 Hive支持Redis缓存连接失败重试 支持OBSA客户端数据监控上报 支持OBS流控重试机制 pms性能优化 mrs-obs-provider的缓存过期优化 优化删除分区的逻辑 Yarn的refresh node速度优化 删除无效告警
ALM-45175 OBS元数据接口调用平均时间超过阈值 ALM-45176 OBS元数据接口调用成功率低于阈值 ALM-45177 OBS数据读操作接口调用成功率低于阈值 ALM-45178 OBS数据写操作接口调用成功率低于阈值 ALM-45179 OBS readFully接口调用失败数高于阈值
Hive企业级能力增强 配置Hive表不同分区分别存储至OBS和HDFS 配置Hive目录旧数据自动移除至回收站 配置Hive插入数据到不存在的目录中 配置创建Hive内部表时不能指定Location 配置用户在具有读和执行权限的目录中创建外表 配置基于HTTPS/HTTP协议的REST接口
虚拟私有云 VPC信息,创建集群时所选。 VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境。 OBS权限控制 MRS用户与OBS权限的映射关系。 数据连接 集群关联的数据连接类型。 委托 集群绑定或修改的委托。 密钥对 密钥对名称,创建集群时设置。 如
(在params标签内) 对于在<file>标签下的文件/文件夹使用FileSystem#globStatus API,对于其他的使用GlobPattern类(被GlobFilter使用)。参照支持的API的细节。例如,对于globStatus,“/opt/hadoop/*”将匹配“/opt/hadoo
Hive jobs cannot be submitted. 不能提交Hive相关作业 请检查是否存在Hive服务以及Hive服务是否正常 400 0169 Flink jobs cannot be submitted. 不能提交Flink作业 请检查是否存在Flink服务以及Flink服务是否正常
LakeFormation概述 LakeFormation是企业级一站式湖仓构建服务,提供元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持无缝对接多种计算引擎及大数据云服务,使客户便捷高效地构建数据湖和运营相关业务,加速释放业务数据价值。 您可以
提交HiveScript或HiveSql类型的作业时如需以“obs://”开头格式访问存储在OBS上的文件,请在Hive服务配置页面搜索参数“core.site.customized.configs”,新增OBS的endpoint配置项,参数为“fs.obs.endpoint”,值请输入OBS对应的endpoint,具体请参考终端节点。
org.apache.hadoop.hbase.coprocessor.CoprocessorHost$ObserverOperationWithoutResult.callObserver(CoprocessorHost.java:581) at org.apache.hadoop
y的brief信息。 使用Spark JobHistory2x页面访问:https://IP:port/api/v1/<appid>/jobs/。 job信息中“numActiveTasks”的值是根据eventlog文件中SparkListenerTaskStart和Spark
la、Spark、HDFS、Yarn、Mapreduce、Presto、HBase、Tez以及相关依赖服务,重启MRS Manager服务期间会引起服务暂时不可用,滚动重启服务不断服。 MRS 2.1.0.9补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户
la、Spark、HDFS、Yarn、Mapreduce、Presto、HBase、Tez以及相关依赖服务,重启MRS Manager服务期间会引起服务暂时不可用,滚动重启服务不断服。 MRS 2.1.0.10补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客
IAM用户已同步完成,可通过在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“单击同步”进行IAM用户同步。 作业相关程序和输入文件已存放在OBS中。 该示例以新增MapReduce作业为例。 操作步骤 接口相关信息 URI格式:POST /v2/{project_id}/clust