检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS集群管理员可根据需要动态修改配置参数以实现在线集群管理。 Capacity Scheduler中每个队列可以限制资源使用量。队列间的资源分配以使用量作为排列依据,使得容量小的队列有竞争优势。
Avro Sink Avro Sink把events转化为Avro events并发送到配置的主机的监测端口。常用配置如下表所示: 表17 Avro Sink常用配置 参数 默认值 描述 channel - 与之相连的channel。
建议在选定之前先做一些基础的测试。 写数据表设计调优 表2 影响实时写数据相关参数 配置参数 描述 默认值 COMPRESSION 配置数据的压缩算法,这里的压缩是HFile中block级别的压缩。对于可以压缩的数据,配置压缩算法可以有效减少磁盘的IO,从而达到提高性能的目的。
建议在选定之前先做一些基础的测试。 写数据表设计调优 在hbase shell中设置以下表相关参数,以提升HBase写数据性能。 表2 影响实时写数据相关参数 配置参数 描述 默认值 COMPRESSION 配置数据的压缩算法,这里的压缩是HFile中block级别的压缩。
验证加密是否配置成功 仅当所配置的空表允许写入测试数据时可执行该操作。 以客户端安装用户,登录安装客户端的节点。切换到客户端安装目录,例如:/opt/client。 cd /opt/client 执行以下命令配置环境变量。
即使表统计信息不可用,EAGER也可以下推Join,这可能会导致查询性能下降,因此仅建议将EAGER用于测试和故障排除场景。
默认没有已创建的连接,单击“添加”创建一个新的连接,完成后单击“测试”,测试是否可用,待提示成功后单击“确定”。 MRS与外部数据源交换数据和文件时需要连接数据源,“连接”表示连接数据源时的连接参数集合。
默认没有已创建的连接,单击“添加”创建一个新的连接,完成后单击“测试”,测试是否可用,待提示成功后单击“确定”。 MRS与外部数据源交换数据和文件时需要连接数据源,“连接”表示连接数据源时的连接参数集合。
Kafka在kerberos认证失败之后自动重启存在异常的问题 解决Hudi和Spark目录下的Spring包不兼容的问题 解决Zookeeper配置了配额仍然显示设置顶层配额失败的告警的问题 解决老Guardian实例日志需要打印客户端IP的问题 解决MemArtsCC使用TPCDS测试套写
MRS服务的SparkSQL兼容部分Hive语法(以Hive-Test-benchmark测试集上的64个SQL语句为准)和标准SQL语法(以tpc-ds测试集上的99个SQL语句为准)。
select lpad('myk',5,'dodo'); -- domyk luhn_check(string) → boolean 描述:根据Luhn算法测试数字字符串是否有效。
当数据目录磁盘空间使用率超过90%时,数据库进入只读模式并发送告警“数据库进入只读模式”,业务数据丢失。 80% Flume Flume堆内存使用率 24006 Flume Server堆内存使用率超过阈值 堆内存溢出可能导致服务崩溃。
该部署方式适用于100-500个节点,在高并发负载情况下表现更好。 mgmt_control_data_separated_v2:数据分设模板,管理角色和控制角色分别部署在不同的Master节点中,数据实例分设在不同节点组。
该部署方式适用于100-500个节点,在高并发负载情况下表现更好。 mgmt_control_data_separated_v2:数据分设模板,管理角色和控制角色分别部署在不同的Master节点中,数据实例分设在不同节点组。