检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当多个data.dir被配置在一个磁盘分区内,DataNode的容量计算将会出错。 回答 目前容量计算是基于磁盘的,类似于Linux里面的df命令。理想状态下,用户不会在同一个磁盘内配置多个data.dir,否则所有的数据都将写入一个磁盘,在性能上会有很大的影响。 因此配置如下: 例如,如果机器有如下磁盘:
是,执行2,安装主机安全HSS服务的Agent。 否,无法安装主机安全服务。 购买主机安全防护配额,并分别登录MRS集群的各个节点安装Agent(MRS集群每个节点都需要安装),安装完成后可开启防护。 确保MRS集群的节点与HSS配额在同一区域,并使用配额所在区域的安装命令或安装包为主机安装Agent。
配置Hive Python样例工程 操作场景 为了运行MRS产品Hive组件的Python接口样例代码,需要完成下面的操作。 MRS 3.1.2及之后版本默认仅支持Python3。 该样例仅支持在Linux节点上运行。 操作步骤 客户端机器必须安装有Python,其版本不低于2.6
当多个data.dir被配置在一个磁盘分区内,DataNode的容量计算将会出错。 回答 目前容量计算是基于磁盘的,类似于Linux里面的df命令。理想状态下,用户不会在同一个磁盘内配置多个data.dir,否则所有的数据都将写入一个磁盘,在性能上会有很大的影响。 因此配置如下: 例如,如果机器有如下磁盘:
删除。 若“数据连接”页面没有关联连接,单击“配置数据连接”进行增加。 一种模块类型只能配置一个数据连接,如在Hive元数据上配置了数据连接后,不能再配置其他的数据连接。当没有可用的模块类型时,“配置数据连接”按钮不可用。 表2 配置Hive数据连接 参数 说明 组件名称 Hive
配置Hive Python样例工程 操作场景 为了运行MRS产品Hive组件的Python接口样例代码,需要完成下面的操作。 MRS 3.1.2及之后版本默认仅支持Python3。 该样例仅支持在Linux节点上运行。 操作步骤 客户端机器必须安装有Python,其版本不低于2.6
行调测的Linux环境,用于验证应用程序运行正常。 表1 开发环境 准备项 说明 操作系统 Windows系统,推荐Windows 7及以上版本。 安装JDK 开发环境的基本配置。版本要求:1.8及以上。 安装和配置Eclipse 用于开发HBase应用程序的工具。 安装Maven
32767:from all lookup default 没有配置ntp外部服务器时只会有一条om路由信息“om_rt”。 本章节仅适用于MRS 3.x及以后版本。 如果FusionInsight Manager创建的路由信息与企业网络规划配置的路由信息发生冲突时,集群管理员可以使用“autoroute
Presto如何配置其他数据源? MRS 1.9.3 Ranger证书如何更新? MRS的Storm集群提交任务时如何指定日志路径? 如何检查Yarn的ResourceManager配置是否正常? 如何修改Clickhouse服务的allow_drop_detached配置项? Cli
本章节适用于MRS 3.x及后续版本集群。 配置场景 目前Yarn支持启动NodeManager的用户运行所有用户提交的任务,也支持以提交任务的用户运行任务。 配置描述 在Manager系统中,选择“集群 > 服务 > Yarn > 配置”,选择“全部配置”。在搜索框中输入参数名称。 表1
用户加密 配置跨Manager互信,当前Kerberos服务端仅支持并使用“aes256-cts-hmac-sha1-96:normal”和“aes128-cts-hmac-sha1-96:normal”加密类型加密跨域使用的用户,不支持修改。 用户认证 配置跨Manager
32:21007表示kafka服务器的IP:port SSL加密配置 服务端配置。 登录FusionInsight Manager页面,选择“集群 > 服务 > Kafka > 配置”,参数类别设置为“全部配置”,搜索“ssl.mode.enable”并配置为“true”。 客户端配置。 登录集群的FusionInsight
监控指标转储配置”,查看监控转储配置页面配置的FTP用户名、密码、端口、转储模式、公钥是否与服务器端配置一致。 是,执行5。 否,执行4。 填入正确的配置信息,然后单击“确定”,并检查告警是否恢复。 是,执行完毕。 否,执行5。 单击“系统设置 > 监控指标转储配置”,查看“FT
0版本。 安装和配置IntelliJ IDEA 开发环境的基本配置,建议使用2019.1或其他兼容版本。 说明: 若使用IBM JDK,请确保IntelliJ IDEA中的JDK配置为IBM JDK。 若使用Oracle JDK,请确保IntelliJ IDEA中的JDK配置为Oracle
Spark常用配置参数 概述 本节介绍Spark使用过程中的常用配置项。以特性为基础划分子章节,以便用户快速搜索到相应的配置项。如果用户使用MRS集群,本节介绍的参数大部分已经适配好,用户无需再进行配置。少数需要用户根据实际场景配置的参数,请参见快速配置Spark参数。 配置Stage失败重试次数
准备MRS节点引导操作脚本 引导操作目前仅支持Linux Shell脚本,脚本文件需以.sh结尾。 准备MRS节点引导操作脚本步骤如下: 上传所需安装包等文件至OBS文件系统。 正式编写脚本前,您需要将所需安装包、配置包的所有相关文件都上传到同Region的OBS文件系统中。 因
0_272版本。 安装和配置IDEA 用于开发Flink应用程序的工具。版本要求:14.1.7。 安装Scala Scala开发环境的基本配置。版本要求:2.11.7。 安装Scala插件 Scala开发环境的基本配置。版本要求:1.5.4。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。
主备集群都已经安装并启动成功,且获取集群的管理员权限。 必须保证主备集群间的网络畅通和端口的使用。 如果主集群部署为安全模式且不由一个FusionInsight Manager管理,主备集群必须已配置跨集群互信。如果主集群部署为普通模式,不需要配置跨集群互信。 主备集群必须已配置跨集群拷贝。
jdk。 安装和配置IDEA 用于开发Flink应用程序的工具。版本要求:14.1.7。 安装Scala Scala开发环境的基本配置。版本要求:2.11.7。 安装Scala插件 Scala开发环境的基本配置。版本要求:1.5.4。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。
List<String> listExecScriptsNodes = new ArrayList<>(); listExecScriptsNodes.add("master_node_default_group"); listExecScriptsNodes.