检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
说明 explain(): Unit 打印出SQL语句的逻辑计划和物理计划。 printSchema(): Unit 打印schema信息到控制台。 registerTempTable(tableName: String): Unit 将DataFrame注册为一张临时表,其周期和SQLContext绑定在一起。
策略包含系统策略和自定义策略,如果系统策略不满足授权要求,MRS集群管理员可以创建自定义策略,并通过给用户组授予自定义策略来进行精细的访问控制。策略支持的操作与API相对应,授权项列表说明如下: 权限:允许或拒绝某项操作。 对应API接口:自定义策略实际调用的API接口。 授权项
完就可以删除、缩容,确保低成本。 高安全 MRS服务拥有企业级的大数据多租户权限管理能力,拥有企业级的大数据安全管理特性,支持按照表/按列控制访问权限,支持数据按照表/按列加密。 易运维 MRS提供可视化大数据集群管理平台,提高运维效率。并支持滚动补丁升级,可视化补丁发布信息,一
多主实例模式相比主备模式的HA方案,优势主要体现在对以下两种场景的改进。 主备模式下,当发生主备切换时,会存在一段时间内服务不可用,该段时间JDBCServer无法控制,取决于Yarn服务的资源情况。 Spark中通过类似于HiveServer2的Thrift JDBC提供服务,用户通过Beeline以及
系统将自动显示数据库中的所有表。可以输入表名关键字,系统会自动搜索包含此关键字的全部表。 单击指定的表名,可以显示表中所有的列。 光标移动到表所在的行,单击 可以查看列的详细信息。 在HiveQL语句编辑区输入查询语句。 单击并选择“Explain”,编辑器将分析输入的查询语
在主集群关闭期间,ReplicationSyncUp工具将使用来自ZooKeeper节点的信息同步主备集群的数据,并且RegionServer znode的wals将被移动到备集群下。 限制和约束 如果备集群处于关闭状态或关闭了对等关系,该工具正常运行,但该对等关系复制不会发生。 父主题: HBase运维管理
收到最后一个Event时是否关闭文件。 hdfs.batchCallTimeout - 每次写入HDFS超时控制时间,单位:毫秒。 当不配置此参数时,对每个Event写入HDFS进行超时控制。当“hdfs.batchSize”大于0时,配置此参数可以提升写入HDFS性能。 说明: “hdfs
(可选)如果HBase没有使用Ranger,在主集群的HBase shell中,以“hbase”用户执行以下命令,启用主集群的HBase表权限控制信息数据实时容灾功能。 enable_table_replication 'hbase:acl' 创建用户 登录备集群的FusionInsight
如果CheckPoint间隔太短,数据来不及刷新会导致作业异常;建议CheckPoint间隔为分钟级。 FlinkSQL作业写MOR表时需要做异步compaction,控制compaction间隔的参数,见Hudi官网:https://hudi.apache.org/docs/configurations.html
rewrite.timeout:物化视图的重写超时控制(单位:秒),推荐5s。物化视图重写时会消耗一定的时间,添加该参数可限制重写所带来的性能损耗,物化视图重写超时后会执行原始SQL。 若使用Session级别开启物化视图功能,并需要开启物化视图重写超时控制,可先执行set session m
组件业务用户 执行以下命令,切换到Kafka客户端安装目录。 cd Kafka/kafka 使用“kafka-configs.sh”进行Kafka流量控制,常用命令如下。 命令中使用到的部分参数值获取方式如下,具体以实际获取信息为准。 ZooKeeper的任意一个节点的业务IP:登录FusionInsight
用户可以方便地创建、管理、执行SQL,并且能够以Excel的形式下载执行的结果。 通过Hue可以在界面针对组件进行以下操作: HDFS: 查看、创建、管理、重命名、移动、删除文件/目录。 上传、下载文件。 搜索文件、目录、文件所有人、所属用户组;修改文件以及目录的属主和权限。 手动配置HDFS目录存储策略,配置动态存储策略等操作。
安全模式支持创建Hive角色,普通模式不支持创建Hive角色。 MRS 3.x及后续版本支持Ranger,如果当前组件使用了Ranger进行权限控制,须基于Ranger配置相关策略进行权限管理,具体操作可参考添加Hive的Ranger访问权限策略。 前提条件 MRS集群管理员已明确业务需求。
ent/lib”目录下。 如果本地网络无法直接连接客户端节点上传文件,可先将jar文件或者源数据上传至OBS文件系统中,然后通过MRS管理控制台集群内的“文件管理”页面导入HDFS中,再通过HDFS客户端使用hdfs dfs -get命令下载到客户端节点本地。 运行作业并查看结果
系统盘”,如开启“添加数据盘”后,还需要配置数据盘的存储类型、大小和数量。 单击“确定”。 弹性伸缩规则与资源计划叠加使用 登录MRS管理控制台。 选择“现有集群”,单击待操作的集群名称,进入集群详情页面。 选择“弹性伸缩”页签,进入配置弹性伸缩界面。 单击“新增弹性伸缩策略”按钮,并配置“节点数量范围”为“2
D。 堆内存(Heap Memory) 堆是JVM运行时数据区域,所有类实例和数组的内存均从此处分配。初始堆内存根据JVM启动参数-Xms控制。 最大堆内存(Maximum Heap Memory):系统可以分配给程序的最大堆内存,JVM启动参数-Xmx指定。 分配的堆内存(Committed
收集集群节点服务器的操作系统日志,并进行分析。 收集集群日志,并进行分析。 诊断网络 对集群的网络健康状态进行分析。 管理硬件 检查设备运行的机房环境,安排清洁设备。 父主题: MRS集群运维
instanceId String 参数解释: 实例ID。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 vnc String 参数解释: 远程登录弹性云服务器的URI地址。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 tenantId String 参数解释: 项目编号。
moveApplicationAcrossQueues(MoveApplicationAcrossQueuesRequest request) 移动一个应用到新的队列。 submitApplication(SubmitApplicationRequest request) Client通过此接口提交一个新的应用到RM。
moveApplicationAcrossQueues(MoveApplicationAcrossQueuesRequest request) 移动一个应用到新的队列。 submitApplication(SubmitApplicationRequest request) Client通过此接口提交一个新的应用到RM。