检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
总量几倍的数据时,通过利用磁盘来做辅助从而确保查询依然稳定执行,但依然有一些数据是必须留在内存的,如在做涉及到Join的查询时,对于当前用于Join的相同key的数据还是需要放在内存中,如果该数据量较大而内存较小依然会出现OutOfMemoryError。 有限内存下的稳定性涉及到3个子功能:
总量几倍的数据时,通过利用磁盘来做辅助从而确保查询依然稳定执行,但依然有一些数据是必须留在内存的,如在做涉及到Join的查询时,对于当前用于Join的相同key的数据还是需要放在内存中,如果该数据量较大而内存较小依然会出现OutOfMemoryError。 有限内存下的稳定性涉及到3个子功能:
Job对应的运行日志保存在哪里? 问: Spark Job对应的运行日志保存在哪里? 答: Spark Job没有完成的任务日志保存在Core节点的“/srv/BigData/hadoop/data1/nm/containerlogs/”目录内。 Spark Job完成的任务日志保
on HBase表中的单行记录 操作场景 由于底层存储系统的原因,Hive并不能支持对单条表数据进行删除操作,但在Hive on HBase功能中,MRS Hive提供了对HBase表的单条数据的删除功能,通过特定的语法,Hive可以将自己的HBase表中符合条件的一条或者多条数据清除。
策略允许条件,配置本策略内允许的权限及例外,例外条件优先级高于正常条件。 在“Select Role”、“Select Group”、“Select User”列选择已创建好的需要授予权限的Role、用户组或用户。 单击“Add Conditions”,添加策略适用的IP地址范围,单击“Add
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 当前版本可用规格 错误码 请参见错误码。 父主题: 版本元数据查询
Conditions 策略允许条件,配置本策略内允许的权限及例外。 在“Select Role”、“Select Group”、“Select User”列选择已创建好的需要授予权限的Role、用户组或用户,单击“Add Conditions”,添加策略适用的IP地址范围,单击“Add Permissions”,添加对应权限。
为什么MRS集群显示的资源池内存小于实际集群内存? 问: 为什么MRS集群显示的资源池内存小于实际集群内存? 答: 在MRS集群中,MRS默认为Yarn服务分配集群内存的50%,用户从逻辑上对Yarn服务的节点按照资源池进行分区管理,所以集群中显示的资源池总内存仅有集群总内存的50%。 父主题:
IntUDF 如果用户添加的Hive UDF注册信息有误,比如错误的格式或者不存在的类路径,系统将忽略这些错误的注册信息,并打印相应日志。 如果用户注册重复的Hive UDF,系统将只注册一次,并忽略重复的注册。 如果用户注册的Hive UDF与系统内部注册的相同,系统将会发生异常并
查看已安装的MRS集群客户端 FusionInsight Manager支持统一管理集群的客户端安装信息,用户下载并安装客户端后,界面可自动记录已安装(注册)客户端的信息,方便查询管理。 同时系统支持手动添加、修改未自动注册的客户端信息(如历史版本已安装的客户端)。 本章节仅适用于MRS
降低当前服务器面临的主要安全风险。 约束与限制 MRS集群的节点的操作系统版本需在HSS的Agent支撑的操作系统列表范围内,才可以安装HSS进行防护。 操作步骤 确认MRS集群的节点镜像的操作系统版本是否在主机安全服务的Agent支撑的操作系统列表范围内。 登录MRS管理控制台。
如果集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 MRS 3.x及后续版本,登录FusionInsight Manager。然后选择“集群 > 待操作的集群名称 > 服务 > Yarn > 配置 > 全部配置”。
MRS集群如何解绑已绑定至Manager的EIP? 问: MRS集群如何解绑已绑定至Manager的EIP? 答: 在为集群Manager绑定了EIP后,通常不建议用户进行解绑,以免影响其他用户正常访问集群的Manager管理界面。 在MRS管理控制台为MRS的Manager界面绑定了EIP
on HBase表中的单行记录 操作场景 由于底层存储系统的原因,Hive并不能支持对单条表数据进行删除操作,但在Hive on HBase功能中,MRS Hive提供了对HBase表的单条数据的删除功能,通过特定的语法,Hive可以将自己的HBase表中符合条件的一条或者多条数据清除。
54447. 执行命令修改allow_drop_detached的值。 例如:设置allow_drop_detached=1 set allow_drop_detached=1; 执行如下命令查看allow_drop_detached的值: SELECT * FROM system.settings WHERE
访问MRS集群上托管的开源组件Web页面 如果组件支持开源WebUI,则在组件基本信息区域可通过WebUI的链接访问开源WebUI。 对于开启Kerberos认证的集群,admin用户不具备各组件的管理权限,如需正常访问各组件的Web UI界面,请提前参考创建MRS集群用户创建具有对应组件管理权限的用户。
Column 该策略允许访问的HBase表对应的表的列名。 name Allow Conditions Select Group:该策略允许访问的用户组。 Select User:该策略允许访问的用户组中的用户。 Permissions:该策略允许用户使用的权限。 Select Group:testuser
Conditions 策略允许条件,配置本策略内允许的权限及例外。 在“Select Role”、“Select Group”、“Select User”列选择已创建好的需要授予权限的Role、用户组或用户,单击“Add Conditions”,添加策略适用的IP地址范围,单击“Add Permissions”,添加对应权限。
10亿级数据量场景的解决方案有哪些? 问: 10亿级数据量场景的解决方案有哪些? 答: 有数据更新、联机事务处理OLTP、复杂分析的场景,建议使用云数据库 GaussDB(for MySQL)。 MRS的Impala + Kudu也能满足该场景,Impala + Kudu可以在j
更改以下内容以调整Tez的资源。 设置hive.tez.container.size = {与YARN容器相同的大小} 将hive.tez.container.size设置为与YARN容器大小“yarn.scheduler.minimum-allocation-mb”相同或更小的值(例如设置