-
配置外网客户端访问Kafka Broker - MapReduce服务 MRS
配置外网客户端访问Kafka Broker 本章节适用于MRS 3.2.0及之后版本。 操作场景 外网环境Kafka客户端访问部署在内网的Kafka Broker,需开启Kafka内外网分流访问。 前提条件 Broker所在节点同时具有内网IP和外网IP,Broker绑定在内网I
-
下载用户认证文件 - MapReduce服务 MRS
“user.keytab”表示用户keytab文件,用于认证用户身份。 “krb5.conf”表示认证服务器配置文件,应用程序在进行用户认证身份时根据该文件的配置信息连接认证服务器。 父主题: MRS多用户权限管理
-
添加租户 - MapReduce服务 MRS
添加租户 操作场景 根据业务对资源消耗以及隔离的规划与需求,管理员可以通过FusionInsight Manager创建租户,以满足实际使用场景。 前提条件 已根据业务需求规划租户的名称,不得与当前集群中已有的角色、HDFS目录或者Yarn队列重名。 已规划当前租户可分配的资源,
-
简介 - MapReduce服务 MRS
存在漏洞的业务被攻击时,将可能导致攻击者远程在业务平台中执行任意代码。 预防与建议 在产品未发布对应解决方案前,建议您参考以下的相关预防措施。 加固物理设备安全边界,防止外网直接访问及攻击内网管理平面。 排查平台各组件节点是否使用默认密码,如果有,建议修改新密码。 加强环境管理面账户密码管控,确保不泄露不扩散。
-
在Hue WebUI使用SparkSql编辑器 - MapReduce服务 MRS
字的全部表。 图1 选择数据库 单击指定的表名,可以显示表中所有的列。 光标移动到表所在的行,单击 可以查看列的详细信息。 在SparkSql语句编辑区输入查询语句。 单击后的三角并选择“解释”,编辑器将分析输入的查询语句是否有语法错误以及执行计划,如果存在语法错误则显示“Error
-
加速TTL操作 - MapReduce服务 MRS
加速TTL操作 ClickHouse触发TTL的时候,对CPU和内存会存在较大消耗和占用。 登录FusionInsight Manager界面,选择“集群 > ClickHouse > 配置 > 全部配置 > ClickHouseServer > 自定义 > clickhouse
-
如何通过集群外的节点访问MRS集群? - MapReduce服务 MRS
群 创建一个集群外ECS节点,具体请参考购买弹性云服务器。 ECS节点的“可用区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 在VPC管理控制台,申请一个弹性IP地址,并与ECS绑定。 具体请参见为弹性云服务器申请和绑定弹性公网IP。 配置集群安全组规则。 在集群“概览”界面,选择“添加安全组规则
-
添加用户并绑定租户的角色 - MapReduce服务 MRS
添加用户并绑定租户的角色 操作场景 创建好的租户不能直接登录集群访问资源,管理员需要通过FusionInsight Manager为已有租户创建新用户,通过绑定租户的角色继承其操作权限,以满足业务使用。 前提条件 管理员已明确业务需求,并已创建了租户。 操作步骤 登录FusionInsight
-
MapReduce服务 MRS - MapReduce服务 MRS
步骤2:准备应用运行环境 步骤2:准备应用运行环境 更多 云服务器卡顿 应用容器化改造介绍 应用容器化改造流程 步骤1:对应用进行分析 步骤2:准备应用运行环境 更多 Ping不通 应用容器化改造介绍 应用容器化改造流程 步骤1:对应用进行分析 更多 访问外网 应用容器化改造介绍 应用容器化改造流程 步骤1:对应用进行分析
-
加速Merge操作 - MapReduce服务 MRS
加速Merge操作 加速后台任务,需要优先调整Zookeeper服务配置,否则Zookeeper会因为znode等资源不足,导致ClickHouse服务异常,后台任务异常。 调整Zookeeper配置:登录FusionInsight Manager界面,选择“集群 > Zookeeper
-
Kafka企业级能力增强 - MapReduce服务 MRS
Kafka企业级能力增强 配置Kafka高可用和高可靠 配置Kafka数据安全传输协议 配置Kafka数据均衡工具 配置外网客户端访问Kafka Broker 父主题: 使用Kafka
-
Spark应用开发简介 - MapReduce服务 MRS
outputMode 结果输出模式,当前支持3种输出模: Complete Mode:整个更新的结果集都会写入外部存储。整张表的写入操作将由外部存储系统的连接器完成。 Append Mode:当时间间隔触发时,只有在Result Table中新增加的数据行会被写入外部存储。这种方式只适用于结果集中已
-
在Hue WebUI使用文件浏览器 - MapReduce服务 MRS
清空搜索框的内容,系统会重新显示所有目录和文件。 执行动作 在“文件浏览器”界面,勾选一个或多个目录或文件。 单击“操作”,在弹出菜单选择一个操作。 重命名:表示重新命名一个目录或文件。 移动:表示移动文件,在“移至”页面选择新的目录并单击“移动”完成移动。 复制:表示复制选中的文件或目录。 更改权限:表示修改选中目录或文件的访问权限。
-
配置资源池的队列容量策略 - MapReduce服务 MRS
配置资源池的队列容量策略 操作场景 添加资源池后,需要为Yarn任务队列配置在此资源池中可使用资源的容量策略,队列中的任务才可以正常在这个资源池中执行。每个队列只能配置一个资源池的队列容量策略。 管理员可以在任何一个资源池中查看队列并配置队列容量策略。配置队列策略后,Yarn任务队列与资源池形成关联关系。
-
Loader开源增强特性 - MapReduce服务 MRS
支持从SFTP/FTP服务器导入数据到HDFS/OBS 支持从SFTP/FTP服务器导入数据到HBase表 支持从SFTP/FTP服务器导入数据到Phoenix表 支持从SFTP/FTP服务器导入数据到Hive表 支持从HDFS/OBS导出数据到SFTP服务器 支持从HBase表导出数据到SFTP服务器
-
典型场景:从SFTP服务器导入数据到Hive - MapReduce服务 MRS
名称 SFTP服务器连接的名称。 sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。 22 Sftp用户名 访问SFTP服务器的用户名。 root Sftp密码 访问SFTP服务器的密码。 xxxx
-
ClickHouse加速TTL操作调优 - MapReduce服务 MRS
ClickHouse加速TTL操作调优 ClickHouse触发TTL的时候,对CPU和内存会存在较大消耗和占用。 登录FusionInsight Manager界面,选择“集群 > ClickHouse > 配置 > 全部配置 > ClickHouseServer > 自定义 >
-
添加资源池 - MapReduce服务 MRS
添加资源池 操作场景 在集群中,管理员可从逻辑上对所有Yarn的节点进行分区,使多个NodeManager形成一个Yarn资源池。每个NodeManager只能属于一个资源池。管理员通过FusionInsight Manager添加一个自定义的资源池,并将未加入自定义资源池的主机
-
修改队列资源 - MapReduce服务 MRS
Manager界面通过修改指定租户的队列配置,对队列进行扩容或缩容。Yarn任务队列和资源池关联,可实现资源的分配和调度。 前提条件 已添加使用Superior调度器的租户。 操作步骤 在FusionInsight Manager,单击“租户资源”。 单击“动态资源计划”页签。 单击“队列配置”页签。 在
-
购买自定义集群 - MapReduce服务 MRS
明请参见MRS所使用的弹性云服务器规格和MRS所使用的裸金属服务器规格。单击,配置集群节点的实例规格、系统盘和数据盘参数。 仅当集群的“计费模式”为“包年/包月”时,MRS支持使用BMS类型的规格。 MRS支持的弹性云服务器(ECS)和裸金属服务器(BMS)混合部署,部署方式如下: