检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
//最多保存的日志文件数目 # Security audit appender hbase.security.log.file=hbase-client-audit.log //审计日志文件命令 父主题： HBase数据读写示例程序
tablename.to.index：创建索引的用户表表名。 indexspecs.to.add：创建索引对应的用户表列。 其中命令中各参数的含义如下： IDX1：索引名称 cf1：列族名称。 q1：列名。 datatype：数据类型。数据类型仅支持Integer、String、Double、Fl
、聚合等数据处理能力。 Java API 提供Java语言的API，提供过滤、join、窗口、聚合等数据处理能力。 Flink基本概念 DataStream 数据流，是指Flink系统处理的最小数据单元。该数据单元最初由外部系统导入，可以通过Socket、Kafka和文件等形式导
Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pipeline处理数据，时延毫秒级，且兼具可靠性。 Flink技术栈如图1所示。
在FusionInsight Manager首页，单击“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“Kudu”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除
在FusionInsight Manager首页，单击“运维 > 日志 > 下载”。 在“服务”中勾选Presto节点信息。 单击右上角的 设置日志收集的“开始时间”和“结束时间”，分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除
在FusionInsight Manager首页，单击“运维 > 日志 > 下载”。 在“服务”中勾选Presto节点信息。 单击右上角的 设置日志收集的“开始时间”和“结束时间”，分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除
解决使用Sqoop将MySQL数据导入到Hive中失败的问题。 解决Yarn配置本地化日志级别参数被设置为不支持修改的问题。 Hudi clean与archive逻辑解耦，不执行clean也能执行归档。 解决Hudi的.schema目录下文件找不到的问题。 解决Hudi clean触发时偶现文件mv to
在执行此命令之前，应将旧表的表结构定义schema和数据复制到新数据库位置。 对于旧版本仓库，源集群和目的集群的时区应该相同。 新的数据库和旧数据库的名字应该相同。 执行命令前，旧表的表结构定义schema和数据应该复制到新的数据库位置。 如果表是聚合表，则应将所有聚合表复制到新的数据库位置。 如果旧集群使用
SparkHbasetoHbase。 样例代码获取方式请参考获取MRS应用开发样例工程。 代码样例： /** * 从table1表读取数据，根据key值去table2表获取相应记录，把两者数据后，更新到table2表 */ object SparkHbasetoHbase { case class
BulkLoad工具数据迁移能力 使用BulkLoad工具批量导入HBase数据 使用BulkLoad工具批量更新HBase数据 使用BulkLoad工具批量删除HBase数据 使用BulkLoad工具查询HBase表的行统计数 BulkLoad工具配置文件说明 父主题： HBase企业级能力增强
据表的统计信息，例如数据量、文件数等，选出合适计划提高多表Join的效率。Hive需要先收集表的统计信息后才能使CBO正确的优化。 CBO优化器会基于统计信息和查询条件，尽可能地使join顺序达到合适。但是也可能存在特殊情况导致join顺序调整不准确。例如数据存在倾斜，以及查询条
assert filePaths.length > 0; // windowTime设置窗口时间大小，默认2分钟一个窗口足够读取文本内的所有数据了 final int windowTime = ParameterTool.fromArgs(args)
tablename.to.index：创建索引的用户表表名。 indexspecs.to.add：创建索引对应的用户表列。 其中命令中各参数的含义如下： IDX1：索引名称 cf1：列族名称。 q1：列名。 datatype：数据类型。数据类型仅支持Integer、String、Double、Fl
态正常。 如集群已启用Kerberos认证，需提前创建HetuEngine的用户并授予相关权限，且需要通过Ranger为该用户配置操作数据源的数据库、表、列的管理权限。 配置HetuEngine SQL防御使用约束 防御规则默认动态生效时间为5分钟。 拦截和熔断规则会中断SQL查询，请根据实际业务配置合理的值。
同分布（Colocation）功能是将存在关联关系的数据或可能要进行关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性是，将那些需进行关联操作的文件存放在相同的数据节点上，在进行关联操作计算时，避免了到别的数据节点上获取数据的动作，大大降低了网络带宽的占用。 Client
具有supergroup组权限的用户（普通集群跳过该步骤） 执行命令以下命令查看数据仓库目录权限是否为770： hdfs dfs -ls /tmp | grep hive-scratch 是，执行29。 否，执行27。 执行以下命令修复默认数据仓库权限： hdfs dfs -chmod 770 /tmp/hive-scratch
配置Yarn数据访问通道协议 配置场景 服务端配置了web访问为https通道，如果客户端没有配置，默认使用http访问，客户端和服务端的配置不同，就会导致访问结果显示乱码。在客户端和服务端配置相同的“yarn.http.policy”参数，可以防止客户端访问结果显示乱码。 操作步骤
配置Yarn数据访问通道协议 配置场景 服务端配置了web访问为https通道，如果客户端没有配置，默认使用http访问，客户端和服务端的配置不同，就会导致访问结果显示乱码。在客户端和服务端配置相同的“yarn.http.policy”参数，可以防止客户端访问结果显示乱码。 操作步骤
产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 如果Loader服务不可用，数据加载，导入，转换的功能也不可用。 可能原因 Loader服务依赖的内部服务异常。 ZooKeeper服务异常。 HDFS服务异常。 DBService服务异常。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
