检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
不同集群间Hive元数据切换时,MRS当前只对Hive组件自身的元数据数据库中的权限进行同步。这是由于当前MRS上的权限模型是在Manager上维护的,所以不同集群间的Hive元数据切换,不能自动把用户/用户组的权限同步到另一个集群的Manager上。 父主题: 管理MRS集群元数据
如何通过happybase连接到MRS服务的HBase? 问: 大数据应用如何通过happybase连接到MRS服务的HBase? 答: MRS服务集群的HBase服务使用的是thriftserver2,thriftserver1和thriftserver2不能同时并存,但hap
当前开源Spark在跨源查询时,只能对简单的filter进行下推,因此造成大量不必要的数据传输,影响SQL引擎性能。针对下推能力进行增强,当前对aggregate、复杂projection、复杂predicate均可以下推到数据源,尽量减少不必要数据的传输,提升查询性能。 目前仅支持JDBC数据源的查询下推,支
如何获取MRS集群ZooKeeper的IP地址和端口? ZooKeeper的IP地址和端口可以通过MRS控制台或登录Manager界面获取。 方法一:通过MRS控制台获取 在MRS集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步。 选择“组件管理 >
Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 查询用户(组)与IAM委托的映射关系成功 400 查询用户(组)与IAM委托的映射关系失败 错误码 请参见错误码。 父主题:
HiveServer或者MetaStore实例的健康状态为Concerning 问题现象 HiveServer或者MetaStore实例的健康状态为Concerning。 可能原因 HiveServer或者MetaStore实例在启动的时候发生异常,无法正常启动。如,当修改MetaStore/HiveServer
配置HDFS token的最大存活时间 配置场景 安全模式下,HDFS中用户可以对Token的最大存活时间和Token renew的时间间隔进行灵活地设置,根据集群的具体需求合理地配置。 配置描述 参数入口: 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。
配置HDFS token的最大存活时间 配置场景 安全模式下,HDFS中用户可以对Token的最大存活时间和Token renew的时间间隔进行灵活地设置,根据集群的具体需求合理地配置。 配置描述 参数入口: 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。
DynamoDB的number在Hive表中用什么类型比较好? 问: DynamoDB的number在Hive表中用什么类型比较好? 答: Hive支持smallint,推荐使用smallint类型。 父主题: 组件配置类
如何处理自动加载的依赖包 问题 在使用IDEA导入工程前,如果IDEA工具中已经进行过Maven配置时,会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时,导致工程Build失败。如何处理自动加载的依赖包? 回答 建议在导入工程后,手动删除自动加载的依赖。步骤如下:
如何处理自动加载的依赖包 问题 在使用IDEA导入工程前,如果IDEA工具中已经进行过Maven配置时,会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时,导致工程Build失败。如何处理自动加载的依赖包? 回答 建议在导入工程后,手动删除自动加载的依赖。步骤如下:
如何处理自动加载的依赖包 问题 在使用IDEA导入工程前,如果IDEA工具中已经进行过Maven配置时,会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时,导致工程Build失败。如何处理自动加载的依赖包? 回答 建议在导入工程后,手动删除自动加载的依赖。步骤如下。
手动指定运行Yarn任务的用户 本章节适用于MRS 3.x及后续版本集群。 配置场景 目前Yarn支持启动NodeManager的用户运行所有用户提交的任务,也支持以提交任务的用户运行任务。 配置描述 在Manager系统中,选择“集群 > 服务 > Yarn > 配置”,选择“全部配置”。在搜索框中输入参数名称。
说明: 对于Cluster的Create操作鉴权主要涉及以下两个场景: 集群开启了“auto.create.topics.enable”参数后,客户端向服务的还未创建的Topic发送数据的场景,此时会判断用户是否有集群的Create权限 对于用户创建大量Topic的场景,如果授予用户Cluster
Table 将适用该策略的表。 可支持通配符“*”,例如“table1:*”表示table1下的所有表。 “Include”策略适用于当前输入的对象,“Exclude”表示策略适用于除去当前输入内容之外的其他对象。 说明: Ranger界面上HBase服务插件的“hbase.rpc.
Table 将适用该策略的表。 可支持通配符“*”,例如“table1:*”表示table1下的所有表。 “Include”策略适用于当前输入的对象,“Exclude”表示策略适用于除去当前输入内容之外的其他对象。 说明: Ranger界面上HBase服务插件的“hbase.rpc.
参数名称 参数含义 来源 产生告警的集群名称。 角色名 产生告警的角色名称。 主题名 产生告警的Topic名称列表。 对系统的影响 单副本的Topic存在单点故障风险,当副本所在节点异常时,会直接导致Partition没有leader,影响该Topic上的业务。 可能原因 Topic副本数配置不合理。
该策略允许访问的数据库对应的表名称。 dataorigin Hive Column 该策略允许访问的数据库对应的表的列名。 name Allow Conditions Select Group:该策略允许访问的用户组。 Select User:该策略允许访问的用户组中的用户。 Pe
如何处理自动加载的依赖包 问题 在使用IDEA导入工程前,如果IDEA工具中已经进行过Maven配置时,会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时,导致工程Build失败。如何处理自动加载的依赖包? 回答 建议在导入工程后,手动删除自动加载的依赖。步骤如下:
如何处理自动加载的依赖包 问题 在使用IDEA导入工程前,如果IDEA工具中已经进行过Maven配置时,会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时,导致工程Build失败。如何处理自动加载的依赖包? 回答 建议在导入工程后,手动删除自动加载的依赖。步骤如下: