检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark同时访问两个HBase样例程序开发思路 场景说明 spark支持同时访问两个集群中的HBase，前提是两个集群配置了互信。 数据规划 将cluster2集群的所有Zookeeper节点和HBase节点的IP和主机名配置到cluster1集群的客户端节点的“/etc/hosts”文件中。
MRS集群部署方案说明 MRS当前提供的“分析集群”、“流式集群”和“混合集群”采用固定模板进行部署集群的进程，无法满足用户自定义部署管理角色和控制角色在集群节点中的需求。 如需自定义集群部署方式，可在创建集群时的“集群类型”选择“自定义”，实现用户自主定义集群的进程实例在集群节点中的部署方式。
准备Kudu应用安全认证 场景说明 访问安全集群环境中的服务，需要先通过Kerberos安全认证。所以Kudu应用程序中需要有安全认证代码，确保Kudu程序能够正常运行。 安全认证有两种方式： 命令行认证： 提交Kudu应用程序运行前，在Kudu客户端执行如下命令进行认证。 kinit
Producer偶现发送数据失败，日志提示“Too many open files in system” 问题背景与现象 在使用Producer向Kafka发送数据功能时，发现客户端发送失败。 图1 Producer发送数据失败 可能原因 Kafka服务异常。 网络异常。 Kafka
HDFS on Hue Hue提供了文件浏览器功能，使用户可以通过界面图形化的方式使用HDFS。 Hue界面主要用于文件、表等数据的查看与分析，禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作，建议在确认对业务没有影响后通过各组件的相应操作方法进行处理，例如使用HDF
Alluxio开发环境简介 在进行应用开发时，要准备的本地开发环境如表1所示。同时需要准备运行调测的Linux环境，用于验证应用程序运行是否正常。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，推荐Windows7以上版本。 运行环境：Linux系统。 安装JDK和Maven
CDL日志介绍 日志描述 日志路径：CDL默认的日志存储路径为“/var/log/Bigdata/cdl/角色名简写”。 CDLService：“/var/log/Bigdata/cdl/service”（运行日志），“/var/log/Bigdata/audit/cdl/service”（审计日志）。
初始化HDFS 功能简介 在使用HDFS提供的API之前，需要先进行HDFS初始化操作。过程为： 加载HDFS服务配置文件，并进行kerberos安全认证。 认证通过后，实例化Filesystem。 此处kerberos安全认证需要使用到的keytab文件，请提前准备。 配置文件介绍
配置LakeFormation数据连接前准备 配置LakeFormation实例 登录华为云管理控制台，在左上角单击“”，选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。 单击页面右上角“购买实例”，参考创建LakeFormation
添加MRS子租户 根据业务对资源消耗以及隔离的规划与需求，用户可以通过MRS创建子租户，将当前租户的资源进一步分配以满足实际使用场景。 如果在添加租户时，租户资源类型选择“非叶子租户”，则支持添加子租户；如果选择“叶子租户”则不支持添加子租户。 前提条件 已参考添加MRS租户添加“非叶子租户”。
FlinkSQL算子并行度 本章节适用于MRS 3.5.0及以后版本。 使用场景 通过CompiledPlan提交的作业，算子的并行度、算子的TTL都以CompiledPlan中的值为准，而不是“flink-conf.yaml”中的值。FlinkSQL支持通过修改作业的CompiledPlan来设置算子并行度。
ALM-12099 发生core dump 告警解释 GaussDB A提供了core文件管理特性，对应用程序发生crash时产生的core文件进行统一的生命周期管理以及告警通知管理。当检测到有新的core文件产生时，会产生该告警。 该章节适用于MRS 3.1.5及之后版本。 MRS
查询主机列表 功能介绍 该接口用于查询输入集群的主机列表详情。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id}/hosts 表1 路径参数 参数 是否必选 参数类型 描述 cluster_id
Spark REST API接口介绍 功能简介 Spark的REST API以JSON格式展现Web UI的一些指标，提供用户一种更简单的方法去创建新的展示和监控的工具，并且支持查询正在运行的app和已经结束的app的相关信息。开源的Spark REST接口支持对Jobs、Sta
使用Hadoop客户端删除OBS上数据时报.Trash目录没有权限错误 问题描述 执行hadoop fs -rm obs://<obs_path>出现如下报错： exception [java.nio.file.AccessDeniedException: user/root/.Trash/Current/:
创建SparkSQL角色 操作场景 该任务指导MRS集群管理员在Manager创建并设置SparkSQL的角色。SparkSQL角色可设置Spark管理员权限以及数据表的数据操作权限。 用户使用Hive并创建数据库需要加入hive组，不需要角色授权。用户在Hive和HDFS中对自
补丁安装后操作 升级客户端 如果有使用自主安装的客户端（集群内、外新下载客户端），需要执行客户端升级操作。 登录集群主节点并执行以下命令： cd /opt/Bigdata/patches/{MRS补丁版本号}/download/ 将补丁安装包拷贝到客户端机器/opt/目录下： scp
ALM-45646 RocksDB的Pending Compaction持续超过阈值 本章节适用于MRS 3.3.0及以后版本。 告警解释 系统以用户配置的告警周期（metrics.reporter.alarm.job.alarm.rocksdb.metrics.duration
ALM-45645 RocksDB的Pending Flush持续超过阈值 本章节适用于MRS 3.3.0及以后版本。 告警解释 系统以用户配置的告警周期（metrics.reporter.alarm.job.alarm.rocksdb.metrics.duration，默认18
Flink客户端常见命令说明 本章节适用于MRS 3.x及之后版本。 在使用Flink的Shell脚本前，首先需要执行以下操作，详细使用场景可参考Flink客户端使用实践运行wordcount作业： 安装Flink客户端，例如安装目录为“/opt/client”。 初始化环境变量。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
