检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka业务规格说明 本章节内容适用于MRS 3.x及后续版本。 支持的Topic上限 支持Topic的个数,受限于进程整体打开的文件句柄数(现场环境一般主要是数据文件和索引文件占用比较多)。 可通过ulimit -n命令查看进程最多打开的文件句柄数; 执行lsof -p <Kafka
Flume业务配置指南 本章节适用于MRS 3.x及之后版本。 该操作指导用户完成Flume常用业务的配置。其他一些不太常用的Source、Channel、Sink的配置请参考Flume社区提供的用户手册(http://flume.apache.org/releases/1.9.0
Windows下打包Storm业务 操作场景 Storm支持在Windows环境下打包。 打包业务的目的,是将IntelliJ IDEA代码生成的jar包与工程依赖的jar包,合并导出可提交的source.jar。 打包需使用storm-jartool工具,可在Windows或Linux上进行。
嵌入式迁移Storm业务 操作场景 该任务指导用户通过嵌入式迁移的方式在Flink的DataStream中嵌入Storm的代码,如使用Storm API编写的Spout/Bolt。 操作步骤 在Flink中,对Storm拓扑中的Spout和Bolt进行嵌入式转换,将之转换为Flink的Operator,代码示例如下:
Windows下打包Storm业务 操作场景 打包业务的目的,是将IntelliJ IDEA代码生成的jar包与工程依赖的jar包,合并导出可提交的source.jar。 打包需使用storm-jartool工具,可在Windows或Linux上进行。 前提条件 已执行打包Storm样例工程应用。
ClickHouse集群业务规划 集群规模 建议单集群不超过256节点规模。 集群负载 对于不同业务负载的业务,需要分开集群部署,便于不同负载的业务进行资源隔离。 集群并发 由于ClickHouse单个SQL会最大化使用每个主机上的CPU/内存/IO资源,对于复杂SQL查询(复杂
Linux下打包Storm业务 操作场景 Storm支持在Linux环境下打包。用户可以将从IntelliJ IDEA中导出的Jar包和需要的其他相关Jar包上传到Linux环境中执行打包。 打包业务的目的,是将IntelliJ IDEA代码生成的jar包与工程依赖的jar包,合并导出可提交的source
迁移Storm对接的外部安全组件业务 迁移Storm对接HDFS和HBase组件的业务 如果Storm的业务使用的storm-hdfs或者storm-hbase插件包进行的对接,那么在按照完整迁移Storm业务进行迁移时,需要指定特定安全参数,如下: //初始化Storm的Config
迁移Storm业务至Flink 概述 完整迁移Storm业务 嵌入式迁移Storm业务 迁移Storm对接的外部安全组件业务 父主题: 使用Storm
备份IoTDB业务数据 操作场景 为了确保IoTDB日常数据安全,或者系统管理员需要对IoTDB进行重大操作(如升级或迁移等),需要对IoTDB业务数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 系统管理员可以通过FusionInsight
IDEA中导出的jar包复制到Linux客户端指定目录(例如“/opt/jarsource”)。 若业务需要访问外部组件,其所依赖的配置文件请参考相关开发指引,获取到配置文件后将配置文件放在1中指定的目录下。 若业务需要访问外部组件,其所依赖的jar包请参考相关开发指引,获取到jar包后将jar包放在1中指定的目录下。
如IPv4或者IPv6。 “源端主NameNode IP地址”:填写备集群主NameNode业务平面IP地址。 “源端备NameNode IP地址”:填写备集群备NameNode业务平面IP地址。 “源端NameNode RPC端口”:填写备集群HDFS基础配置“dfs.namenode
使用admin用户访问组件的WebUI界面报错或部分功能不可用 问: 访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI界面报错,或部分功能不可用怎么办? 答: 访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI的用
配置Oozie业务运行流程 功能描述 描述了一个完整业务的流程定义文件。一般由一个start节点、一个end节点和多个实现具体业务的action节点组成。 参数解释 “workflow.xml”文件中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name 流程文件名
HBase容灾集群业务切换指导 操作场景 MRS集群管理员可配置HBase集群容灾功能,以提高系统可用性。容灾环境中的主集群完全故障影响HBase上层应用连接时,需要为HBase上层应用配置备集群信息,才可以使得该应用在备集群上运行。 对系统的影响 切换业务后,写入备集群的数据默
配置Oozie业务运行流程 功能描述 描述了一个完整业务的流程定义文件。一般由一个start节点、一个end节点和多个实现具体业务的action节点组成。 参数解释 “workflow.xml”文件中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name 流程文件名
、HetuEngine等组件的WebUI界面报错,或部分功能不可用怎么办? 答: 访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI的用户不具备对应组件的管理权限,导致界面报错或部分功能不可用。 例如: 使用当前用户登录Flink WebUI后,部
MRS集群管理员需要根据企业安全要求,为Storm业务用户配置独立的密码策略。 如果不为Storm业务用户配置独立的密码策略,在修改业务用户密码以后,可以删除旧的拓扑并重新提交,使拓扑继续运行。 对系统的影响 为Storm业务用户配置独立的密码策略后,此用户将不受Manager界面上的“密码策略”配置影响。
MRS当前支持主机规格的配型由CPU+内存+Disk共同决定。 弹性云服务器由多个租户共享物理资源,而裸金属服务器的资源归用户独享。对于关键类应用或性能要求较高的业务(如大数据集群、企业中间件系统),并且要求安全可靠的运行环境,使用裸金属服务器更合适。 当使用BMS类型的规格时,不支持升级Master节点规格。
conf”两个文件替换HBase上层应用中原有的文件。 停止上层业务。 是否需要切换HBase主备集群,即主变成备,备变成主。如果不切换,数据将不再同步。 是,先执行HBase容灾主备集群倒换,具体请参考HBase容灾集群主备倒换,然后再执行12。 否,直接执行12。 启动上层业务。 父主题: HBase集群容灾高可用