检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
}); // 检索名称为KEY_VALUE_STATE_STORE_NAME的key-value状态存储区，可用于记忆最近收到的输入记录等 this.kvStore = (KeyValueStore<String
HBase的“fs.defaultFS”配置参数需要与Yarn、HDFS的配置保持一致。 如果HBase数据存储在本地HDFS，支持将HBase元数据备份到OBS。如果HBase数据存储在OBS，则不支持数据备份。 如果数据要备份至OBS中，需要当前集群已对接OBS，并具有访问OBS的权限。
Spark Structured Streaming对接Kafka样例程序（Scala） 功能介绍 使用Structured Streaming，从Kafka中读取广告请求数据、广告展示数据、广告点击数据，实时获取广告有效展示统计数据和广告有效点击统计数据，将统计结果写入kafka中。
ALM-16006 Hive服务进程直接内存使用超出阈值 告警解释 系统每30秒周期性检测Hive直接内存使用率，并把实际的Hive直接内存使用率和阈值相比较。当Hive直接内存使用率超出阈值（默认为最大直接内存的95%）时产生该告警。 用户可通过“运维 > 告警 > 阈值设置 >
ALM-16008 Hive服务进程非堆内存使用超出阈值 告警解释 系统每30秒周期性检测Hive非堆内存使用率，并把实际的Hive非堆内存使用率和阈值相比较。当Hive非堆内存使用率超出阈值（默认为最大非堆内存的95%）时产生该告警。 用户可通过“运维 > 告警 > 阈值设置 >
compaction&cleaning配置 参数 描述 默认值 hoodie.clean.automatic 是否执行自动clean。 true hoodie.cleaner.policy 要使用的清理策略。Hudi将删除旧版本的parquet文件以回收空间。 任何引用此版本文件
Spark Structured Streaming对接Kafka样例程序（Scala） 功能介绍 使用Structured Streaming，从kafka中读取广告请求数据、广告展示数据、广告点击数据，实时获取广告有效展示统计数据和广告有效点击统计数据，将统计结果写入kafka中。
Spark Structured Streaming对接Kafka样例程序（Scala） 功能介绍 使用Structured Streaming，从kafka中读取广告请求数据、广告展示数据、广告点击数据，实时获取广告有效展示统计数据和广告有效点击统计数据，将统计结果写入kafka中。
设置数据保存信息并运行作业 单击“下一步”，进入“输出设置”界面，根据实际场景在“存储类型”选择“HBASE_BULKLOAD”或“HBASE_PUTLIST”，设置数据保存方式。 表4 输出设置参数 存储类型 适用场景 参数名 说明 示例 HBASE_BULKLOAD 数据量大 HBase实例
创建Hive角色 操作场景 该任务指导MRS集群管理员在Manager创建并设置Hive的角色。Hive角色可设置Hive管理员权限以及Hive表的数据操作权限。 用户使用Hive并创建数据库需要加入hive组，不需要角色授权。用户在Hive和HDFS中对自己创建的数据库或表拥有
使用Oozie调度Spark2x访问HBase以及Hive 前提条件 已经配置完成导入并配置Oozie样例工程的前提条件。 开发环境配置 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\oozie-examples”目录下的样例工程文件夹“oozienormal-
MRS 2.1.0.8补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.1.0.8 发布时间 2020-08-04 解决的问题 MRS 2.1.0.8 修复问题列表： MRS Manager 解决委托访问OBS，ECS接口限流问题 MRS Manager支持多人登录
use-column-names 是否按照列名方式访问ORC存储文件： true：是 false（默认值）：否 false hive.parquet.use-column-names 是否按照列名方式访问PARQUET存储文件。： true：是 false（默认值）：否 false
问题三：如何彻底删除HDFS文件？ 由于HDFS的回收站机制，一般删除HDFS文件后，文件会移动到HDFS的回收站中。如果确认文件不再需要并且需要立马释放存储空间，可以继续清理对应的回收站目录（例如：hdfs://hacluster/user/xxx/.Trash/Current/xxx）。 父主题：
问题三：如何彻底删除HDFS文件？ 由于HDFS的回收站机制，一般删除HDFS文件后，文件会移动到HDFS的回收站中。如果确认文件不再需要并且需要立马释放存储空间，可以继续清理对应的回收站目录（例如：hdfs://hacluster/user/xxx/.Trash/Current/xxx）。 父主题：
知进程健康状态。 硬盘故障的自动处理 MRS对开源版本进行了增强，可以监控各节点上的硬盘以及文件系统状态。如果出现异常，立即将相关分区移出存储池；如果硬盘恢复正常（通常是因为用户更换了新硬盘），也会将新硬盘重新加入业务运作。这样极大简化了维护人员的工作，更换故障硬盘可以在线完成；
设置数据保存信息并运行作业 单击“下一步”，进入“输出设置”界面，根据实际场景在“存储类型”选择“HBASE_BULKLOAD”或“HBASE_PUTLIST”，设置数据保存方式。 表4 输出设置参数 存储类型 适用场景 参数名 说明 示例 HBASE_BULKLOAD 数据量大 HBase实例
单击“创建Catalog”，配置以下参数后，单击“提交”。 Catalog名称：hive（固定名称，不可自定义） 选择位置：单击“”选择Catalog对应的OBS存储路径，例如选择“obs://lakeformation-test/hive”（需提前创建），单击“确定”。 其他参数根据实际需要进行配置。
单击“创建Catalog”，配置以下参数后，单击“提交”。 Catalog名称：hive（固定名称，不可自定义） 选择位置：单击“”选择Catalog对应的OBS存储路径，例如选择“obs://lakeformation-test/hive”（需提前创建），单击“确定”。 其他参数根据实际需要进行配置。
ClickHouse数据查询 数据查询规则 禁止select *查询 只查询需要的字段可以减少磁盘io和网络io，提升查询性能。 使用uniqCombined替代distinct uniqCombined对去重逻辑进行了优化，通过近似去重提升十倍查询性能，如果对查询允许有误差，可
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
