检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ive操作权限的用户。 配置Hive SQL防御使用约束 防御规则默认动态生效时间为5秒,修改队列后Hive防御规则重新加载时间为10分钟。 拦截和熔断规则会中断SQL任务,请根据实际业务配置合理的值。 动态规则dynamic_0001(SQL语句扫描的文件数超过阈值),当Spa
扩容:手动扩容Core或Task节点,请参见扩容集群。 升级规格:升级Master节点的实例规格,请参见升级Master节点规格。 配置弹性伸缩:根据业务数据量的变化动态调整集群Task节点数量以增减资源,请参见配置弹性伸缩规则。 若MRS提供的变更配置方式不满足您的要求,您也可以通过重建集群,然后做数据迁移的方式实现集群配置的变更。
Storm样例程序开发思路 通过典型场景,您可以快速学习和掌握Storm拓扑的构造和Spout/Bolt开发过程。 场景说明 一个动态单词统计系统,数据源为持续生产随机文本的逻辑单元,业务处理流程如下: 数据源持续不断地发送随机文本给文本拆分逻辑,如“apple orange apple”。
统,Flume将传输的数据全部按照配置写入HDFS中。 具体操作场景请参见典型场景:从本地采集静态日志保存到HDFS和典型场景:从本地采集动态日志保存到HDFS。 Flume与HBase的关系 当用户配置HBase作为Flume的Sink时,HBase就作为Flume的最终数据存
过200。 部署负载均衡组件,查询基于负载均衡组件进行,避免单点查询压力太大影响性能。 ClickHouse支持连接集群中的任意节点查询,如果查询集中到一台节点,可能会导致该节点的压力过大并且可靠性不高。建议使用ClickHouseBalancer或者其他负载均衡服务,均衡查询负载,提升可靠性。
Storm样例程序开发思路 通过典型场景,用户可以快速学习和掌握Storm拓扑的构造和Spout/Bolt开发过程。 场景说明 一个动态单词统计系统,数据源为持续生产随机文本的逻辑单元,业务处理流程如下: 数据源持续不断地发送随机文本给文本拆分逻辑,如“apple orange apple”。
可视化运维,包含安装、卸载、一键启动和停止、配置、客户端、监控、告警、健康检查、日志。 可视化权限管理,无需后台命令行操作,支持库表级别读写权限控制。 日志级别的可视化配置动态生效、可视化下载、可视化检索、审计日志等功能。 IoTDB开源增强特性:安全加固 用户认证支持Kerberos、通道SSL加密,兼容社区方式。
0及之后版本支持。 前提条件 待连接Doris数据库的节点与MRS集群网络互通。 FE和BE实例状态正常。 已安装MySQL客户端。 使用约束 防御规则默认动态生效时间为5分钟。 拦截和熔断规则会中断SQL查询,请根据实际业务配置合理的值。 配置Doris SQL防御规则 创建具有Doris管理员权限的用户用于连接Doris服务。
样比率输出到指定日志中。 Worker动态分析:在Storm UI界面可以收集Worker进程的Jstack、Heap日志,并且可以重启Worker进程。 拓扑日志级别动态调整:提供命令行和Storm UI两种方式对运行中的拓扑日志进行动态修改。 性能提升:与之前的版本相比,St
色同名,因此将DataNode更名为IoTDBServer,如图2所示。 ConfigNode:管理角色,负责DataNode数据分片,负载均衡等。 IoTDBServer(DataNode):存储角色,负责数据存储、查询和写入等功能。 图2 IoTDB分布式架构 IoTDB原理
Group资源软限制方案实现,Workload Group只是限制组内任务在单个BE节点上的计算资源和内存资源的使用,所以租户没有整体资源池的概念,而是在执行查询任务时,动态的在各个BE节点上进行资源分配。 因此,Doris多租户的监控和告警是节点粒度的,在服务和租户粒度上,会进行适当的聚合处理。 Doris多租户监控
例如“主机内存使用率”,界面显示此阈值的信息: 发送告警开关开启时表示将触发告警。 “分级告警开关”开启时启用分级告警,系统会根据实时监控指标值和分级阈值,动态上报相应级别的告警。(MRS 3.3.0及之后版本支持该功能) “告警ID”和“告警名称”包含阈值将触发的告警信息。 Manager会检查
在弹出的对话框中设置新的存储策略,单击“确定”。 在“静态存储策略”页签设置静态存储策略,单击“保存”。 在“动态存储策略”页签可创建、删除、修改动态存储策略,详细的参数介绍如表2所示。 表2 动态存储策略参数介绍 分类 参数 说明 规则 文件最近访问时间 按照该文件最近一次访问时间。 文件最近修改时间
理平面)服务,即OMS LDAP LDAP2 部署在集群中的LdapServer(业务平面)服务 Kerberos1访问LDAP数据:以负载均衡方式访问主备LDAP1两个实例和双备LDAP2两个实例。只能在主LDAP1主实例上进行数据的写操作,可以在LDAP1或者LDAP2上进行数据的读操作。
SDK概述 本文介绍了MRS服务提供的SDK语言版本,列举了最新版本SDK的获取地址。 在线生成SDK代码 API Explorer能根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 您可以在API Explorer中具体API页面的“代码示例”页签查看对应编程语言类型的SDK代码,如图1所示。
tive Execution后,Spark SQL将自动为每个shuffle过程动态设置partition个数,而不是使用通用配置,使每次shuffle过程自动使用最合理的partition数。 动态调整执行计划 在启用Adaptive Execution特性前,Spark SQ
tive Execution后,Spark SQL将自动为每个shuffle过程动态设置partition个数,而不是使用通用配置,使每次shuffle过程自动使用最合理的partition数。 动态调整执行计划。 在启用Adaptive Execution特性前,Spark S
实现服务级别的资源隔离,可将集群中的服务与其他服务隔离,使一个服务上的负载对其他服务产生的影响有限。 调度机制简介 静态服务资源支持基于时间的动态调度机制,可以在不同时间段为服务配置不同的资源量,优化客户业务运行环境,提高集群的效率。 在一个复杂的集群环境中,多种服务共享使用集群资源
在弹出的对话框中设置新的存储策略,单击“保存”。 在“静态存储策略”页签设置静态存储策略,单击“保存”。 在“动态存储策略”页签可创建、删除、修改动态存储策略,详细的参数介绍如表3所示。 表3 动态存储策略参数介绍 分类 参数 说明 规则 文件最近访问时间 按照该文件最近一次访问时间。 文件最近修改时间
tor”角色。 多租户使用流程概述 在实际业务中,管理员需要先明确使用集群资源的业务场景,规划租户。然后再通过MRS添加租户,并配置租户的动态资源、存储资源以及所关联的服务。 创建租户的具体操作流程如表2所示。 图1 创建租户流程 表2 创建租户的操作说明 操作 说明 添加租户