检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在以上场景中，为使HMaster更早完成恢复任务，建议增加以下配置参数，否则Master将退出导致整个恢复进程被更大程度地延迟。 增加namespace表在线等待超时周期，保证Master有足够的时间协调RegionServer workers split任务，避免一次次重复相同的任务。 “hbase
setBlockCacheEnabled(false); HBase不支持条件查询和Orderby等查询方法，存储按照字典排序，读取只支持Rowkey扫描 设计时应避免HBase随机查找、排序的应用场景。 业务表设计建议 预分Region，使Region分布均匀，提高并发 避免过多的热点Re
合理的时间值。 1296000 yarn.log-aggregation.retain-check-interval-seconds 设置扫描HDFS保存的Container聚合日志的间隔时间。单位：秒。 设置为-1或0时，间隔时间将为“yarn.log-aggregation.
对于可以压缩的数据，配置压缩算法可以有效减少磁盘的IO，从而达到提高性能的目的。 说明： 并非所有数据都可以进行有效压缩。例如一张图片的数据，因为图片一般已经是压缩后的数据，所以压缩效果有限。常用的压缩算法是SNAPPY，因为它有较好的Encoding/Decoding速度和可以接受的压缩率。
对于可以压缩的数据，配置压缩算法可以有效减少磁盘的IO，从而达到提高性能的目的。 说明： 并非所有数据都可以进行有效压缩。例如一张图片的数据，因为图片一般已经是压缩后的数据，所以压缩效果有限。常用的压缩算法是SNAPPY，因为它有较好的Encoding/Decoding速度和可以接受的压缩率。
dropPartitionsInBatch.limit”控制，默认1000），会先于防御规则拦截。 熔断规则存在统计误差，例如规则running_0004，扫描数据量阈值配置10GB，但是因为判断周期和任务并发影响，可能在15GB甚至更高才进行熔断。 熔断规则存在边界效应，例如某个Job直到最后几
在通常的join/in/not in时候，需要在前面添加Global关键字，避免查询放大问题。 数据查询建议 建议查询指定分区 通过指定分区字段会减少底层数据库扫描的文件数量，提升查询性能，实际经验：700个分区的千列大表，需要查询一个分区中有7000万数据，其他699个分区中无数据，虽然只有一个分区
TextImporter: Total: imported 6 data points in 0.012s (504.0 points/s) 扫描OpenTSDB的指标数据 tsdb命令可以使用“tsdb query”命令批量查询导入的指标数据，例如执行tsdb query 0 1h-ago
用户管理 检查用户密码是否将要过期并通知修改。“机机用户”用户修改密码需要重新下载keytab文件。 分析告警 导出指定周期内产生的告警并分析。 扫描磁盘 对磁盘健康状态进行检查，建议使用专门的磁盘检查工具。 统计存储 分批次排查集群节点磁盘数据是否均匀存储，筛选出明显数据增加或不足的硬盘，并确认硬盘是否正常。
ation，and Loading）操作。对庞大的数据集查询需要耗费大量的时间去处理，在许多场景下，可以通过建立Hive分区方法减少每一次扫描的总数据量，这种做法可以显著地改善性能。 Hive的分区使用HDFS的子目录功能实现，每一个子目录包含了分区对应的列名和每一列的值。当分区
在查询客户所有记录等信息的范围查询中，HBase可以扫描热存储和冷存储中的数据。查询结果将根据数据行按写入表时的时间戳降序返回。在大多数情况下，热数据出现在冷数据之前。如果在范围查询中没有配置HOT_ONLY参数，HBase将会扫描热存储和冷存储中的数据，查询响应时间将会增加。如果
景，为了保障与数据表的一致性，索引表TTL将自动继承数据表索引列和覆盖列的TTL，不支持手动指定。 索引在线变更 支持索引在线创建、删除和修改状态，不影响数据表读写。 索引在线修复 当查询命中的索引数据无效时，可以触发索引修复，保障最终查询结果正确。 索引工具 支持索引一致性检查
内容说明请参考表1，条目较多时，单击搜索框可根据关键字字段进行筛选。 表1 Audit信息 页签 内容描述 Access 当前MRS不支持在线查看组件资源的审计日志信息，可登录组件安装节点，进入“/var/log/Bigdata/audit”目录下查看各组件的审计日志。 Admin
HetuEngine支持配置IoTDB数据源。 Hudi 升级到0.11.0版本。 IoTDB 新增组件，一体化收集、存储、管理与分析物联网时序数据的服务。 集群管理 支持补丁在线推送及更新。 组件版本信息 表1 MRS组件版本信息 组件 版本 CarbonData 2.2.0 ClickHouse 22.3.2.2
建表时，您可以通过设置合理的分区和分桶，实现数据均匀分布和查询性能提升。数据均匀分布是指数据按照一定规则划分为子集，并且均衡地分布在不同节点上。查询时能够有效裁剪数据扫描量，最大限度地利用集群的并发性能，从而提升查询性能。 父主题： 组件介绍
ation，and Loading）操作。对庞大的数据集查询需要耗费大量的时间去处理，在许多场景下，可以通过建立Hive分区方法减少每一次扫描的总数据量，这种做法可以显著地改善性能。 MRS HDFS数据迁移到OBS 本实践以MRS HDFS数据迁移到OBS为例，介绍如何通过CDM将文件类数据迁移到文件中。
MetaStore（角色） > 自定义”，添加“hive-ext.skip.grant.partition”参数，值为“true”。添加该参数后在库授权时会跳过分区扫描。需要重启Metastore实例生效。 相关概念 表1 使用Hive表、列或数据库场景权限一览 操作场景 用户需要的权限 DESCRIBE
ase.apache.org/book/cp.html。 org.apache.hadoop.hbase.client.Scan中新增反向扫描方法设置isReversed()和setReversed(boolean reversed)。 HBase 0.98到1.0的API变更，请参考：https://issues
立连接/关闭连接耗时 、MetaStore操作DB接口的耗时监控。 Hive新增MetaStore连接数监控告警、SQL平均运行时间监控、扫描分区数监控和user、IP维度监控。 Hive开启并发执行时，偶现insert执行结果无数据。 消除Kudu Tserver版本号显示的dirty。
Phoenix是构建在HBase之上的一个SQL中间层，提供一个客户端可嵌入的JDBC驱动，Phoenix查询引擎将SQL输入转换为一个或多个HBase scan，编译并执行扫描任务以产生一个标准的JDBC结果集。 约束与限制 已安装DBeaver 6.3.5版本，DBeaver软件下载链接为：https://dbeaver
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
