检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark作业的Client模式和Cluster模式有什么区别? 理解YARN-Client和YARN-Cluster深层次的区别之前先清楚一个概念:Application Master。 在YARN中,每个Application实例都有一个ApplicationMaster进程
MRS可以直接处理OBS中的数据,客户可以基于OBS服务Web界面和OBS客户端对数据进行浏览、管理和使用,同时可以通过REST API接口方式单独或集成到业务程序进行管理和访问数据。 数据存储在OBS:数据存储和计算分离,集群存储成本低,存储量不受限制,并且集群可以随时删除,但
MRS管理控制台和集群Manager页面功能区别有哪些? 问: MRS管理控制台和集群Manager页面有什么区别与联系? 答: 用户可以通过MRS管理控制台页面登录到MRS的Manager页面。 Manager分为MRS Manager和FusionInsight Manager,其中:
什么是区域和可用区? 通常用区域和可用区来描述数据中心的位置,用户可以在特定的区域、可用区创建云服务资源。 区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Reg
Hive服务健康状态和Hive实例健康状态的区别 问题现象 Hive服务健康状态和Hive实例健康状态的区别是什么? 解决方案 Hive服务的健康状态(也就是在Manager界面看到的健康状态)有Good,Bad,Partially Healthy,Unknown四种状态 ,四种
artition-connector和oracle-connector具有以下优点: 负载均匀,数据分片的个数和范围与源表的数据无关,而是由源表的存储结构(数据块)确定,颗粒度可以达到“每个数据块一个分区”。 性能稳定,完全消除“数据偏斜”和“绑定变量窥探”导致的“索引失效”。
配置YARN-Client和YARN-Cluster不同模式下的环境变量 配置场景 当前,在YARN-Client和YARN-Cluster模式下,两种模式的客户端存在冲突的配置,即当客户端为一种模式的配置时,会导致在另一种模式下提交任务失败。 为避免出现如上情况,添加表1中的配
ger和TaskManager的算子内的日志输出,输出的日志会打印到对应的yarn contain中,可以在Yarn WebUI查看对应日志。 MRS 3.1.0及之后版本的Flink 1.12.0版本开始默认的日志框架是log4j2,配置的方式跟之前log4j的方式有区别,使用如log4j日志规则不会生效。
artition-connector和oracle-connector具有以下优点: 负载均匀,数据分片的个数和范围与源表的数据无关,而是由源表的存储结构(数据块)确定,颗粒度可以达到“每个数据块一个分区”。 性能稳定,完全消除“数据偏斜”和“绑定变量窥探”导致的“索引失效”。
计费模式概述 MRS当前支持包年/包月和按需计费模式,以满足不同场景下的用户需求。 包年/包月:根据集群购买时长,一次性支付集群费用。最短时长为1个月,最长时长为1年。 按需计费:节点按实际使用时长计费,计费周期为一小时。 表1列出了两种计费模式的区别。 表1 计费模式 计费模式 包年/包月
普通版支持集群基础操作如配置、管理和运维等,具体可以查看用户指南。 组件介绍 除共有组件外,普通版集群还支持Presto、Impala、Kudu、Sqoop等组件,可以根据不同集群版本选择不同的组件,具体各版本集群的组件详情可以参考MRS组件版本一览表和组件操作指南。 LTS版 功能说明
user()”来进行过滤,这样被授权的用户,在访问视图时,即可被限定访问对应的数据。 在普通模式下“current_user()”函数无法区别客户端提交任务的用户,因此,当前访问控制仅对安全模式下的Hive有效。 如果已经在实际业务逻辑中使用了“current_user()”函数
user()”来进行过滤,这样被授权的用户,在访问视图时,即可被限定访问对应的数据。 在普通模式下“current_user()”函数无法区别客户端提交任务的用户,因此,当前访问控制仅对安全模式下的Hive有效。 如果已经在实际业务逻辑中使用了“current_user()”函数
IoTDB的IoTDBServer角色实例 Kafka的Broker角色实例(MRS 2.x及之前版本、MRS 3.5.0及之后版本支持) 退服和入服MRS角色实例约束和限制 已经退服的角色实例,必须执行入服操作启动该实例,才能重新使用。 ClickHouseServer实例退服约束条件请参考缩容
集群创建完成后,可对集群进行监控和管理。选择“现有集群”,选中一集群并单击集群名,进入集群详情页面,查看集群的基本配置信息、网络信息和部署的节点信息等。 ECS集群和BMS集群在管理控制台操作基本一致,本文档主要以ECS集群描述为例,如有操作区别则分开描述。 查看MRS集群基本信息
在主管理节点执行以下命令查看管理平面网关。 cat ${BIGDATA_HOME}/om-server/OMS/workspace/conf/oms-config.ini | grep om_gateway 在主备管理节点分别执行ping 管理平面网关,检查节点是否与管理平面网关连通? 是,执行5。
ID or name is required. 虚拟私有云ID和名字至少需要一个。 按照报错提示进行处理 400 12000210 Either a subnet ID or name is required. 子网ID和名字至少需要一个。 按照报错提示进行处理 400 12000233
MRS集群上层应用开发是否支持Python? 问: MRS集群上层应用开发是否支持Python语言进行开发? 答: MRS服务中提供的样例工程和直接进行应用开发没有区别,两者都可以选择。 MRS服务支持Python代码,部分提供了Python样例代码的组件样例工程可参考开发指南文档相关章节。 父主题:
使用Hive的时候,在输入框中输入了use database的语句切换数据库,重新在输入框内输入其他语句,为什么数据库没有切换过去? 回答 在Hue上使用Hive有区别于用Hive客户端使用Hive,Hue界面上有选择数据库的按钮,当前SQL执行的数据库以界面上显示的数据库为准。 与此相关的还有设置参数等
开启本功能并对表库等授权后,对表库目录具有相同权限的角色将会用“|”合并。查询acl权限时,将显示合并后的结果,与开启该功能前的显示会有区别。此操作不可逆,请充分考虑实际应用场景,再决定是否做出调整。 MRS3.x及后续版本支持Ranger,如果当前组件使用了Ranger进行权