检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。 安装Scala Scala开发环境的基本配置。版本要求：2.12.10。 安装Scala插件 Scala开发环境的基本配置。版本要求：2018.2.11或其他兼容版本。 安装Editra Python开发环境的编辑器，用于编写Python程序。或者使用其他编写Python应用程序的IDE。
配置流式读取Spark Driver执行结果 配置场景 在执行查询语句时，返回结果有可能会很大（10万数量以上），此时很容易导致JDBCServer OOM（Out of Memory）。因此，提供数据汇聚功能特性，在基本不牺牲性能的情况下尽力避免OOM。 配置描述 提供两种不同
配置Flume角色的服务端参数，并将配置文件上传到集群。 使用FusionInsight Manager界面中的Flume配置工具来配置服务端参数并生成配置文件。 登录FusionInsight Manager，选择“集群 > 服务 > Flume > 配置工具”。 图4 选择配置工具 “Agent
配置Flume角色的服务端参数，并将配置文件上传到集群。 使用FusionInsight Manager界面中的Flume配置工具来配置服务端参数并生成配置文件。 登录FusionInsight Manager，选择“集群 > 服务 > Flume > 配置工具”。 图4 选择配置工具 “Agent
用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts域名信息。 准备连接MapReduce集群配置文件 配置并导入样例工程 MapReduce提供了不同场景下的多种样例程序，用户可获取样例工程并导入本地开发环境中进行程序学习。 导入并配置MapReduce样例工程 配置安全认证 如果您使用的是
es”字段的Jar包。 在Windows或Linux上创建一个目录作为运行目录，如“D:\hive-rest-client-example”（Windows环境）或“/opt/hive-rest-client-example”（Linux环境），将1中生成的“target”目录下
在Windows环境调测程序步骤请参考在Windows中调测程序。 在Linux环境调测程序 编译并生成Jar包，并将Jar包复制到与依赖库文件夹同级的目录“src/main/resources”下，具体步骤请参考在Linux调测程序。 使用集群安装用户登录集群客户端节点。 cd /opt/client
在Windows环境调测程序步骤请参考在Windows中调测程序。 在Linux环境调测程序 编译并生成Jar包，并将Jar包复制到与依赖库文件夹同级的目录“src/main/resources”下，具体步骤请参考在Linux调测程序。 使用root用户登录安装了集群客户端的节点。 cd /opt/client
配置ClickHouse系统表的生命周期 操作场景 ClickHouse没有默认配置系统表的TTL，长期使用可能会占用大量磁盘空间。 本章节指导用户配置系统表的生命周期，仅保留近30天的数据，减少系统表的磁盘使用。 本章节仅适用于MRS 3.2.0之前版本。 操作步骤 使用具有C
界面。 选择“数据源”，单击“添加数据源”。在“添加数据源”页面填写参数。 配置“基本配置”，填写数据源名称，选择数据源类型“Hive”。 配置“Hive配置”，参数配置请参考表1。 表1 Hive配置 参数 描述 取值样例 驱动 默认为fi-hive-hadoop。 fi-hive-hadoop
示Failed to bind to: Host_ip:Port。 可能原因 随机端口范围配置错误。 定位思路 检查worker相关信息日志。 检查绑定端口的进程信息。 检查随机端口范围配置。 原因分析 通过SSH登录Worker启动失败主机，通过netstat -anp | grep
体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt/female/” ）下。 运行样例程序前，需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark.yarn
添加Storm的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为Storm用户进行相关的权限设置。 前提条件 已安装Ranger服务且服务运行正常。 已创建用户需要配置权限的用户、用户组或Role。 页面已启用Ranger鉴权开关，该按钮控制是否启用Ranger插件进行权限管控，
检查工程conf目录下“producer.properties”中配置的“bootstrap.servers”配置值中访问的IP和端口是否正确： 如果IP与Kafka集群部署的业务IP不一致，那么需要修改为当前集群正确的IP地址。 如果配置中的端口为21007（Kafka安全模式端口），那么修
ALM-14011 HDFS DataNode数据目录配置不合理（2.x及以前版本） 告警解释 DataNode的配置参数“dfs.datanode.data.dir”指定了DataNode的数据目录。当所配置的目录路径无法创建、与系统关键目录使用同一磁盘或多个目录使用同一磁盘时，系统产生此告警。
Role Admin”，单击“Save”保存配置。 说明： 用户绑定Hive管理员角色后，在每个维护操作会话中，还需要执行以下操作： 以客户端安装用户，登录安装Hive客户端的节点。 执行以下命令配置环境变量。 例如，Spark2x客户端安装目录为“/opt/client”，执行source
配置Structured Streaming使用RocksDB做状态存储 本章节仅适用于MRS 3.3.0及之后版本。 配置场景 当大量的状态信息存储在默认的HDFS BackedStateStore，导致JVM GC占用大量时间时，可以通过如下配置，选择RocksDB作为状态后端。
Admin”，单击“Save”保存配置。 说明： Ranger页面的“Settings”选项只有rangeradmin用户有权限访问。用户绑定Hive管理员角色后，在每个维护操作会话中，还需要执行以下操作： 以客户端安装用户，登录安装Hive客户端的节点。 执行以下命令配置环境变量。 例如，H
配置ClickHouse系统表的生命周期 操作场景 ClickHouse没有默认配置系统表的TTL，长期使用可能会占用大量磁盘空间。 本章节指导用户配置系统表的生命周期，仅保留近30天的数据，减少系统表的磁盘使用。 本章节仅适用于MRS 3.2.0之前版本。 操作步骤 使用具有C
的“操作”列单击“配置”，进入“配置实例”页签。 如需手动扩缩容，修改配置界面中“Worker容器资源配置”中的“数量”的值，单击“确定”，此计算实例会进入“扩容中”或者“缩容中”状态，待扩缩容完成，计算实例状态恢复至“运行中”。 如需自动扩缩容，将“高级配置”中的“是否开启动态
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
