检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ment合并为一个大的segment，然后对数据进行排序，可提高查询性能。 压缩的策略根据实际的数据大小和可用资源决定。如某银行1天加载一次数据，且加载数据选择在晚上无查询时进行，有足够的资源，压缩策略可选择为6、5。 表7 使用索引缓存服务器时是否开启数据预加载 参数 carbon
Flink架构 在本示例中，使用MRS集群内置的Flink WordCount作业程序，来分析OBS文件系统中保存的源数据，以统计源数据中的单词出现次数。 当然您也可以获取MRS服务样例代码工程，参考Flink开发指南开发其他Flink流作业程序。 操作流程 本实践操作流程如下所示： 步骤
ZooKeeper的URL路径，同服务端的同名参数，且需要和服务端配置一致。 - spark.thriftserver.retry.times 尝试连接服务端的最大次数。如果设置为负数或零，客户端将不会重新尝试连接服务端。 5 spark.thriftserver.retry.wait.time 重连服务端时的尝试时间间隔，单位秒。
使用BulkLoad工具批量删除HBase数据 操作场景 BulkLoad工具支持根据rowkey的取值模式、范围、字段名、字段值对HBase做批量删除。 使用BulkLoad工具批量删除HBase数据 执行如下命令删除从“row_start”到“row_stop”的行，并且把输
关注单个executor所在的container是否存在。因此，只有在APP结束的时候才会清理这些临时文件。任务运行时间较长时导致临时文件过多占用了大量磁盘空间。 处理步骤 启动一个定时任务来清理超过一定时间的shuffle文件，例如每个整点清理超过6个小时的文件： 创建脚本“clean_appcache
Closeable { 表分区优化建议 当数据量较大，且经常需要按天统计时，建议使用分区表，按天存放数据。 为了避免在插入动态分区数据的过程中，产生过多的小文件，在执行插入时，在分区字段上加上distribute by。 存储文件格式优化建议 Hive支持多种存储格式，比如TextFile
对于已经生成但未调度处理的任务，如果读取的Kafka offset区间大于Kafka上topic的最新offset，则该任务会运行失败。 如果任务失败过多，则会将executor加入黑名单，从而导致后续的任务无法部署运行。此时用户可以通过配置“spark.blacklist.enabled”
对于已经生成但未调度处理的任务，若读取的Kafka offset区间大于Kafka上topic的最新offset，则该任务会运行失败。 若任务失败过多，则会将executor加入黑名单，从而导致后续的任务无法部署运行。此时用户可以通过配置“spark.blacklist.enabled”
量为T，那么建议该Topic的Partition数目设置为Max(T/P , T/C)。 在Kafka集群中，分区越多吞吐量越高，但是分区过多也存在潜在影响，例如文件句柄增加、不可用性增加（如：某个节点故障后，部分Partition重选Leader后时间窗口会比较大）及端到端时延增加等。
量为T，那么建议该Topic的Partition数目设置为Max(T/P , T/C)。 在Kafka集群中，分区越多吞吐量越高，但是分区过多也存在潜在影响，例如文件句柄增加、不可用性增加（如：某个节点故障后，部分Partition重选Leader后时间窗口会比较大）及端到端时延增加等。
时延高，会导致MetaStore接口访问慢或报错。 可能原因 MetaStore GC时间过长或元数据库异常（如磁盘IO使用率过高、长事务过多等）。 处理步骤 查看MetaStore GC时间是否过长。 登录FusionInsight Manager界面，选择“运维 > 告警 >
使用BulkLoad工具批量更新HBase数据 操作场景 HBase BulkLoad工具支持根据RowKey的命名规则、RowKey的范围、字段名以及字段值进行批量更新数据。 使用BulkLoad工具批量更新HBase数据 执行如下命令更新从“row_start”到“row_s
仅在启用bloomIndexBucketizedChecking并且索引类型为bloom的情况下适用。 此配置控制“存储桶”的大小，该大小可跟踪对单个文件进行的记录键检查的次数，并且是分配给执行布隆过滤器查找的每个分区的工作单位。 较高的值将分摊将布隆过滤器读取到内存的固定成本。 10000000 hoodie.bloom
HetuEngine计算实例CPU负载使用率超过阈值，会导致该计算实例性能下降，业务SQL响应变慢。 可能原因 计算实例资源配置过小。 业务存在大SQL任务，占用过多计算资源，导致其他提交的任务无资源可用，整个计算实例响应变慢，造成任务积压。 处理步骤 检查计算实例资源配置是否合理 使用可访问HetuEngine
比较大。 本实践基于华为云MapReduce服务，用于指导您创建MRS集群后，使用BulkLoad方式向HBase中批量导入本地数据，在首次数据加载时，能极大的提高写入效率，并降低对Region Server节点的写入压力。 方案架构 Bulkload是HBase提供的一个数据导
'24h') AS select id from hive.mvschema.t1; mv_validity：物化视图的有效期 创建每小时自动刷新一次数据的物化视图 create materialized view mv.default.mv1 with(storage_table='hive
在FusionInsight Manager首页，选择“集群 > 服务 > HBase > 图表”，在“图表分类”中选择“GC”，查看GC次数和GC时间监控是否异常。 是，执行6。 否，执行9。 单击“配置”，在搜索框中搜索“GC_OPTS”，在RegionServer所在节点内
在FusionInsight Manager首页，选择“集群 > 服务 > HBase > 图表”，在“图表分类”中选择“GC”，查看GC次数和GC时间监控是否异常。 是，执行6。 否，执行9。 单击“配置”，在搜索框中搜索“GC_OPTS”，在RegionServer所在节点内
ePoint} 函数 regexp_count(string, pattern) → bigint 描述：返回字符串中pattern匹配的次数。 SELECT regexp_count('1a 2b 14m', '\s*[a-z]+\s*'); -- 3 regexp_extract_all(string
返回：过滤的wal编辑总数 getFailedReplicationAttempts() 返回类型：long 返回：在一次请求中不能复制数据的次数。 表3 org.apache.hadoop.hbase.replication.ReplicationLoadSink 方法 描述 ge
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
