检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导入并配置HetuEngine样例工程 操作场景 客户端安装程序目录中包含了HetuEngine开发样例工程,将从工程导入样例开始学习,本文以IntelliJ IDEA 2020.1.3 (Community Edition)为例。 前提条件 确保本地PC的时间与集群的时间差要小
配置Oozie节点间用户互信 操作场景 在使用Oozie节点通过SSH作业执行外部节点的Shell,需要单向免密互信时,可以参考此示例。 前提条件 已经安装Oozie,而且能与外部节点(SSH连接的节点)通信。 操作步骤 在外部节点上确保连接SSH时使用的用户存在,且该用户“~/
如何在CarbonData中配置非安全内存? 问题 如何在CarbonData中配置非安全内存? 回答 在Spark配置中,“spark.yarn.executor.memoryOverhead”参数的值应大于CarbonData配置参数“sort.inmemory.size.inmb”与“Netty
配置IoTDB应用安全认证 使用Keytab文件进行JDBC安全认证 使用Keytab文件进行Session安全认证 父主题: 准备IoTDB应用开发环境
导入并配置Oozie样例工程 操作场景 将下载的样例工程导入到Windows开发环境IDEA中即可开始样例学习。 前提条件 已按照准备本地应用开发环境章节准备好开发用户,例如developuser,并下载用户的认证凭据文件到本地。 用户需要具备Oozie的普通用户权限,HDFS访
配置JobHistory本地磁盘缓存 配置场景 JobHistory可使用本地磁盘缓存spark应用的历史数据,以防止JobHistory内存中加载大量应用数据,减少内存压力,同时该部分缓存数据可以复用以提高后续对相同应用的访问速度。 配置参数 登录FusionInsight Manager系统,选择“集群
弹性伸缩规则与资源计划均可触发弹性伸缩,两者至少配置其中一种,也可以叠加使用。 视频介绍 配置MRS集群弹性伸缩操作案例可参考配置MRS集群弹性伸缩操作视频,该视频以MRS 3.1.0版本集群为例,介绍如何在购买集群时配置弹性伸缩、如何为已有集群新增弹性伸缩策略。 因不同版本
导入并配置Oozie样例工程 操作场景 将下载的样例工程导入到Windows开发环境IDEA中即可开始样例学习。 前提条件 已按照准备本地应用开发环境章节准备好开发用户,例如developuser,并下载用户的认证凭据文件到本地。 用户需要具备Oozie的普通用户权限,HDFS访
面。 选择“数据源”,单击“添加数据源”。在“添加数据源”页面填写参数。 配置“基本配置”,填写数据源名称,选择数据源类型“HBase”。 配置“HBase配置”,参数配置请参考表1。 表1 HBase配置 参数 描述 取值样例 驱动 默认为“hbase-connector”。 hbase-connector
SDK”为“SDKs”中添加的JDK。 图6 修改“Module SDK” 单击“Apply”,单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后,在IntelliJ IDEA选择“File > Settings
旦文件保存时间超过此阈值,将从回收站中永久地删除。如果回收站被清空,回收站中的所有文件将被永久删除。 配置描述 参数入口: 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 fs.trash.interval
配置Oozie作业运行参数 功能描述 流程的属性定义文件,定义了流程运行期间使用的外部参数值对。 参数解释 “job.properties”文件中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 nameNode HDFS NameNode集群地址 resourceManager
单击“计算实例”: 导入实例配置文件:单击“导入”,在本地选择JSON格式的实例配置文件后,单击“打开”。 导入导出功能,仅保存计算实例的配置,不保存实例ID、名称、开始时间、结束时间、状态等信息,重新导入后,这些信息将会重新生成。 导出实例配置文件:勾选待导出的实例,然后单击
Kafka 样例工程配置文件说明 Conf目录下各配置文件及重要参数配置说明。 Producer API配置项。 表1 producer.properties文件配置项 参数 描述 备注 security.protocol 安全协议类型 生产者使用的安全协议类型,当前Kerber
配置Yarn本地化日志级别 配置场景 container本地化默认的日志级别是INFO。用户可以通过配置“yarn.nodemanager.container-localizer.java.opts”来改变日志级别。 配置描述 在Manager系统中,选择“集群 > 待操作集群的名称
配置Controller与Agent间数据传输加密 操作场景 安装集群后Controller和Agent之间需要进行数据通信,在通信的过程中采用了Kerberos认证,出于对集群性能的考虑,通信过程默认不加密,对于一些安全要求较高用户可以采用以下方式进行加密。 该章节仅适用于MRS
要平衡节点磁盘间的数据密度,防止异构的小磁盘成为该节点的性能瓶颈。 本章节适用于MRS 3.x及后续版本。 配置描述 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 dfs.disk.balancer.auto
2 │ │ 3 │ 4 │ └─────┴──── ┘ 配置ClickHouse开启mysql_port配置 本操作指导用户配置ClickHouse的端口配置,以使用MySQL客户端连接ClickHouse。 本操作仅适用于MRS 3.1.2版本。
导入并配置Hive样例工程 导入并配置Hive JDBC样例工程 导入并配置Hive HCatalog样例工程 导入并配置SpringBoot样例工程 配置Hive Python样例工程 配置Hive Python3样例工程 父主题: 准备Hive应用开发环境
场景二:配置Linux环境与MRS集群节点内网络互通。 在节点中安装MRS集群客户端。 例如客户端安装目录为“/opt/client”。 获取配置文件: 登录FusionInsight Manager,在“主页”右上方单击“下载客户端”,“选择客户端类型”设置为“仅配置文件”,勾