检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
value>键值对，同样也产出一组<key,value>键值对作为作业的输出，这两组键值对的类型可能不同。对单个map和reduce而言，对键值对的处理为单线程串行处理。 框架需要对key和value的类（classes）进行序列化操作，因此，这些类需要实现Writable接口。另外，为了方便框
Doris连接运行规范 连接Doris和运行Doris任务时需遵循的规范如下： 推荐使用ELB连接Doris，避免当连接的FE故障时，无法对外提供服务。 当Doris单实例或硬件故障时，新提交的任务能运行成功，但不能确保故障时正在运行的任务能执行成功。因此，需要用户连接Doris
value>键值对，同样也产出一组<key,value>键值对作为作业的输出，这两组键值对的类型可能不同。对单个map和reduce而言，对键值对的处理为单线程串行处理。 框架需要对key和value的类(classes)进行序列化操作，因此，这些类需要实现Writable接口。另外，为了方便框
配置Doris高可用功能 Doris集群高可用方案概述 配置通过ELB访问Doris集群 父主题： Doris企业级能力增强
ClickHouse企业级能力增强 通过ELB访问ClickHouse ClickHouse开启mysql_port配置 父主题： 使用ClickHouse
ClickHouse企业级能力增强 ClickHouse多租户管理 查看ClickHouse慢查询语句 查看ClickHouse复制表数据同步监控 配置ClickHouse副本间数据强一致 配置ClickHouse支持事务能力 配置通过ELB访问ClickHouse 配置ClickHouse冷热分离
不涉及 support_elb Boolean 参数解释： 支持ELB。 约束限制： 不涉及 取值范围： true：支持ELB。 false：不支持ELB。 默认取值： 不涉及 multi_affinity_group_enable Boolean 参数解释： 启用多亲和组。 约束限制：
ALM-38012 Broker的分区数量超过阈值 告警解释 系统每30秒周期性检测Kafka服务每个Broker实例的分区数量。该指标可以在Broker实例监控中查看Partition数目，当检测到某个Broker上的分区数量超过阈值时产生告警。用户可在Manager上选择“运维
Group的情况下，一个SubTask是部署在一个slot上的。即使开启了Slot Sharing Group，大部分情况下Slot中拥有的SubTask也是负载均衡的。所以可以理解为TM上的Slot个数代表了上面运行的任务线程数。 合理的Slots数量应该和CPU核数相同，在使用超线程时，每个Slot将占用2个或更多的硬件线程。
HDFS中配置了dfs.datanode.du.reserved.percentage参数：每个磁盘的保留空间所占磁盘百分比。DataNode会保留这么多可用空间，以备其他组件如Yarn的NodeManager运行计算时，或者预留升级时使用。 因为预留了10%的磁盘，当磁盘使用率达到90%的时
Scheduler除了提高系统吞吐量和利用率，还提供了以下主要调度功能： 多资源池 多资源池有助于在逻辑上划分集群资源并在多个租户/队列之间共享它们。资源池的划分可以基于异构的资源或完全按照应用资源隔离的诉求来划分。对于一个资源池，不同队列可配置进一步的策略。 每个资源池多租户调度（reserve、min、share、max）
Spark2x多主实例 背景介绍 基于社区已有的JDBCServer基础上，采用多主实例模式实现了其高可用性方案。集群中支持同时共存多个JDBCServer服务，通过客户端可以随机连接其中的任意一个服务进行业务操作。即使集群中一个或多个JDBCServer服务停止工作，也不影响用
cy，保存并重启受影响的服务或实例。 让DataNode根据磁盘剩余空间大小，优先选择磁盘剩余空间多的节点存储数据副本。 针对新写入到本DataNode的数据会优先写磁盘剩余空间多的磁盘。 部分磁盘使用率较高，依赖业务逐渐删除在HDFS中的数据（老化数据）来逐渐降低。 父主题： 使用HDFS
如何提高Presto资源使用率？ 问题现象 节点资源利用不均衡，执行Presto任务几小时后仍未完成。 解决步骤 调小Yarn节点内存比例： 登录Manager页面，选择“集群 > 服务 > Presto > 实例”，查看并记录所有Presto实例所在节点主机名称。 选择“集群 >
集群在线扩缩容 大数据集群的处理能力通常可以通过增加集群的节点数来横向扩展，当集群规模不符合业务要求时，用户可以通过该功能进行集群节点规模的调整，进行扩容或者缩容；在缩容节点时，MRS会智能地选择负载最少或者迁移数据量最小节点，并且在缩容过程中，缩容节点不再接收新的任务，正在执行
-setLabelExpression -expression 'LabelB[fallback=NONE]' -path /Spark命令，给Spark目录设置表达式。在“/Spark”目录下文件对应的数据块副本只能放置到LabelB标签上的节点，如DN5、DN6、DN7、DN8。 设置数据节点的标签参考配置描述。
-setLabelExpression -expression 'LabelB[fallback=NONE]' -path /Spark命令，给Spark目录设置表达式。在“/Spark”目录下文件对应的数据块副本只能放置到LabelB标签上的节点，如DN5、DN6、DN7、DN8。 设置数据节点的标签参考配置描述。
在白天HBase查询服务的业务多。 在晚上查询服务的业务少而Hive分析服务业务多。 如果只给每个服务设置固定的资源可能会导致： 白天查询服务的资源不够用，分析服务的资源空闲。 晚上分析服务的资源不够用，查询服务的资源空闲。 集群资源利用率不高，而且服务能力也打了折扣。因此： 白天多配置HBase服务资源。
Connector和Sink Connector，CDLService是负责管理和创建任务的实例。 CDL服务中的CDLService是多主模式，任意一个CDLService都可以进行业务操作；CDLConnector是分布式模式，提供了高可靠和Rebalance的能力，创建任
询适合使用bitmap索引（bitmap索引的基数在10000~100000之间效果较好）。 建表时需要提前规划将来要使用的字段个数，可以多预留几十个字段，类型包括整型、字符型等。避免将来字段不够使用，需要较高代价临时去添加字段。 父主题： Doris应用开发规范
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
