-
备份Hive业务数据 - MapReduce服务 MRS
系统管理员可以通过FusionInsight Manager创建备份Hive任务。支持创建任务自动或手动备份数据。 Hive备份恢复功能不支持识别用户的Hive表、索引、视图等对象在业务和结构上存在的关联关系。用户在执行备份恢复任务时,需要根据业务场景管理统一的恢复点,防止影响业务正常运行。 Hive备份恢复功能不支持Hive
-
Storm应用开发简介 - MapReduce服务 MRS
责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理,可以可靠地处理无限的数据流。 Storm有很多适用的场景:实时分析、在线机器学习、持续计算和分布式ETL等,易扩展、支持容错,可确保数据得到处理,易于构建和操控。 Storm有如下几个特点: 适用场景广泛 易扩展,可伸缩性高
-
Kafka基本原理 - MapReduce服务 MRS
向Topic订阅,并且接收发布到这些Topic的消息。 各模块间关系如图2所示。 图2 Kafka模块间关系 消费者使用一个消费者组名称来标记自己,主题的每个消息被传递给每个订阅消费者组中的一个消费者。如果所有的消费者实例都属于同样的消费组,它们就以传统队列负载均衡方式工作。如上图中,Consumer1与Consu
-
日志 - MapReduce服务 MRS
日志 在线检索日志 下载日志 父主题: 运维
-
配置外网客户端访问Kafka Broker - MapReduce服务 MRS
Kafka > 配置 > 全部配置 > Broker(角色) > 服务”。在搜索框分别输入“advertised”和 "actual",会出现如下图所示五个配置项,可参考表1配置具体参数。 表1 参数配置说明 配置项 描述 取值要求 enable.advertised.listener 是否开启“advertised
-
配置弹性伸缩规则 - MapReduce服务 MRS
是否必选 参数类型 描述 name 是 String 弹性伸缩自定义自动化脚本的名称,同一个集群的自定义自动化脚本名称不允许相同。 只能由数字、英文字符、空格、中划线和下划线组成,且不能以空格开头。 可输入的字符串长度为1~64个字符。 uri 是 String 自定义自动化脚本的路径。
-
补丁管理 - MapReduce服务 MRS
补丁管理 安装在线补丁 安装滚动补丁 修复隔离主机补丁 MRS补丁说明 父主题: 管理集群
-
配置HBase主备集群容灾 - MapReduce服务 MRS
"hbase.master.kerberos.principal" => "备集群HMaster principal"} 备集群ID表示主集群识别备集群使用的id,请重新指定id值。可以任意指定,建议使用数字。 备集群ZooKeeper地址信息包含ZooKeeper业务IP地址、侦听
-
通过Flink作业处理OBS数据 - MapReduce服务 MRS
至该目录中。 则本示例的测试数据完整路径为“obs://mrs-demo-data/flink/mrs_flink_test.txt”。 图1 上传测试数据 (可选)上传数据分析应用程序。 使用管理台界面直接提交作业时,将已开发好的Flink应用程序jar文件也可以上传至OBS文
-
集群管理 - MapReduce服务 MRS
集群管理 集群生命周期管理 集群在线扩缩容 创建Task节点 自动弹性伸缩 节点隔离 升级Master节点规格 节点标签管理 父主题: 产品功能
-
Storm应用开发简介 - MapReduce服务 MRS
责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理,可以可靠地处理无限的数据流。 Storm有很多适用的场景:实时分析、在线机器学习、持续计算和分布式ETL等,易扩展、支持容错,可确保数据得到处理,易于构建和操控。 Storm有如下几个特点: 适用场景广泛 易扩展,可伸缩性高
-
配置Doris对接Hive数据源 - MapReduce服务 MRS
Catalog,不仅能访问Hive,也能访问使用Hive Metastore作为元数据存储的系统,例如Iceberg、Hudi等。 支持Managed Table。 可以识别Hive Metastore中存储的Hive和Hudi元数据。 如果想访问非当前用户创建的Catalog,需授予用户Catalog所在的OBS路径的操作权限。
-
创建FlinkServer流表源 - MapReduce服务 MRS
单击“新建流表”,在新建流表页面参考表1填写信息,单击“确定”,完成流表创建。创建完成后,可在对应流表的“操作”列对流表进行编辑、删除等操作。 图1 新建流表 表1 新建流表信息 参数名称 参数描述 备注 流/表名称 流/表的名称。 例如:flink_sink 描述 流/表的描述信息。
-
创建FlinkServer流表源 - MapReduce服务 MRS
单击“新建流表”,在新建流表页面参考表1填写信息,单击“确定”,完成流表创建。创建完成后,可在对应流表的“操作”列对流表进行编辑、删除等操作。 图1 新建流表 表1 新建流表信息 参数名称 参数描述 备注 流/表名称 流/表的名称。 例如:flink_sink 描述 流/表的描述信息。
-
审计与日志 - MapReduce服务 MRS
体对接指导请参见MRS服务如何对接云日志服务。 同时FusionInsight Manager支持在线检索并显示组件的日志内容,用于问题定位等其他日志查看场景,详细操作指导请参见在线检索日志。FusionInsight Manager支持批量导出各个服务角色所有实例生成的日志,无
-
配置弹性伸缩指标 - MapReduce服务 MRS
自动化脚本 在添加自动化脚本时,可以参考表4配置相应参数。 表4 自动化脚本配置说明 配置项 说明 名称 自动化脚本的名称。 只能由数字、英文字符、空格、中划线和下划线组成,且不能以空格开头。 可输入的字符串长度为1~64个字符。 说明: 同一集群内,不允许配置相同的名称。不同集群之间,可以配置相同的名称。
-
配置HBase主备集群容灾 - MapReduce服务 MRS
"hbase.master.kerberos.principal" => "备集群HMaster principal"} 备集群ID表示主集群识别备集群使用的id,请重新指定id值。可以任意指定,建议使用数字。 备集群ZooKeeper地址信息包含ZooKeeper业务IP地址、侦听
-
默认配置修改 - MapReduce服务 MRS
spark.sql.datasource.opentsdb.host 连接的TSD进程地址 空(默认值) xx.xx.xx.xx,多个地址间用英文逗号间隔。 spark.sql.datasource.opentsdb.port TSD进程端口号 4242(默认值) spark.sql
-
通过数据应用访问Alluxio - MapReduce服务 MRS
<Alluxio的节点名称>:19998,请根据实际情况替换为AlluxioMaster实例所在所有节点的节点名称与端口号,各个名称与端口之间以英文逗号间隔,例如:node-ana-coremspb.mrs-m0va.com:19998,node-master2kiww.mrs-m0va
-
YARN开源增强特性 - MapReduce服务 MRS
资源利用率。 异构和多维资源调度 Superior Scheduler除支持CPU和内存资源的调度外,还支持扩展以下功能: 节点标签可用于识别不同节点的多维属性,可以根据这些标签进行调度。 资源池可用于对同一类别的资源进行分组并分配给特定的租户/队列。 租户内多用户公平调度 在叶