检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Flink认证和加密 安全认证 Flink整个系统存在三种认证方式: 使用kerberos认证:Flink yarn client与Yarn Resource Manager、JobManager与Zookeeper、JobManager与HDFS、TaskManager与H
在Linux环境中调测ClickHouse应用(MRS 3.3.0及之后版本) ClickHouse应用程序也支持在Linux环境中运行。在程序代码完成开发后,您可以上传Jar包至准备好的Linux运行环境中运行。 前提条件 Linux环境已安装JDK,版本号需要和IntelliJ
HDFS C API接口介绍 功能简介 C语言应用开发代码样例中所涉及的文件操作主要包括创建文件、读写文件、追加文件、删除文件。完整和详细的接口请直接参考官网上的描述以了解其使用方法:http://hadoop.apache.org/docs/r2.7.2/hadoop-proj
新增并执行作业 功能介绍 在MRS集群中新增并提交一个作业。 需要先在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步,然后再通过该接口提交作业。 如需使用OBS加密功能,请先参考“MRS用户指南 > 管理现有集群 > 作业管理 > 使用OBS加密
开源sqoop-shell工具使用指导 概述 sqoop-shell是一个开源的shell工具,其所有功能都是通过执行脚本“sqoop2-shell”来实现的。 sqoop-shell工具提供了如下功能: 支持创建和更新连接器 支持创建和更新作业 支持删除连接器和作业 支持以同步或异步的方式启动作业
开源sqoop-shell工具使用指导 概述 本章节适用于MRS 3.x及后续版本。 sqoop-shell是一个开源的shell工具,其所有功能都是通过执行脚本“sqoop2-shell”来实现的。 sqoop-shell工具提供了如下功能: 支持创建和更新连接器 支持创建和更新作业
配置ClickHouse冷热分离 本章节仅适用于MRS 3.3.1及之后版本。 操作场景 ClickHouse基于开源ClickHouse的multi-volume storage特性,允许将ClickHouse表存储在包含多个设备的卷当中。通过在volume中定义不同类型的磁盘
Flume常用配置参数 部分参数可在Manager界面配置。 使用Flume需要配置Source、Channel和Sink,各模块配置参数说明可通过本节内容了解。 MRS 3.x及之后版本部分参数可通过Manager界面配置,选择“集群 > 服务 > Flume > 配置工具”,
Flume常用配置参数 MRS 3.x之前版本需在“properties.properties”文件中配置。 MRS 3.x及之后版本,部分参数可在Manager界面配置。 基本介绍 使用Flume需要配置Source、Channel和Sink,各模块配置参数说明可通过本节内容了解。
添加MRS租户 当租户需要根据业务需求指定资源使用情况时,可以在MRS创建租户。 添加MRS租户前提条件 根据业务需求规划租户的名称,不得与当前集群中已有的角色或者Yarn队列重名。 如果租户需要使用存储资源,则提前根据业务需要规划好存储路径,分配的完整存储路径在HDFS目录中不存在。