检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据磁盘持久化：消息不在内存中缓存，直接写入到磁盘，充分利用磁盘的顺序读写性能。 Zero-copy：减少IO操作步骤。 数据批量发送：提高网络利用率。 Topic划分为多个Partition，提高并发度，可以由多个Producer、Consumer数目之间的关系并发来读、写消息。
HDFS服务的“管理NameService”页面获取，例如“hacluster”。 “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “源端NameNode IP地址”：填写备集群NameNode业务平面IP地址。 “源端NameNode
Oozie Oozie简介 Oozie是一个基于工作流引擎的开源框架，它能够提供对Hadoop作业的任务调度与协调。 Oozie结构 Oozie引擎是一个Web App应用，默认集成到Tomcat中，采用pg数据库。 基于Ext提供WEB Console，该Console仅提供对
使用spark-sql操作Hudi表 本章节仅适用于MRS 3.5.0-LTS及之后版本。 操作场景 本章节主要介绍通过spark-sql使用Hudi功能。 前提条件 在Manager界面创建用户并添加hadoop和hive用户组，主组加入hadoop。 操作步骤 下载并安装Hu
FlinkIoTDBSource样例程序 功能简介 IoTDB与Flink的集成。此模块包含了iotdb source，通过flink job将时序数据从IoTDB读取出来并且打印。 代码样例 该示例演示了Flink job 如何从IoTDB server读取时序数据的场景： Flink使用IoTDBSource从
FlinkIoTDBSource样例程序 功能简介 IoTDB与Flink的集成。此模块包含了iotdb source，通过flink job将时序数据从IoTDB读取出来并且打印。 代码样例 该示例演示了Flink job如何从IoTDB server读取时序数据的场景： Fl
CDL CDL简介 CDL（全称Change Data Loader）是一个基于Kafka Connect框架的实时数据集成服务。 CDL服务能够从各种OLTP数据库中捕获数据库的Data Change事件，并推送到kafka，再由sink connector推送到大数据生态系统中。
CDM集群的规格，按待迁移的数据量选择，一般选择cdm.medium即可，满足大部分迁移场景。 CDM集群所在VPC、子网、安全组，选择与MRS集群所在的网络一致。 CDM集群创建完成后，选择集群操作列的“绑定弹性IP”，CDM通过EIP访问MySQL。 图3 集群列表 如果用户对本地数据源的访
CarbonData CarbonData是一种新型的Apache Hadoop本地文件格式，使用先进的列式存储、索引、压缩和编码技术，以提高计算效率，有助于加速超过PB数量级的数据查询，可用于更快的交互查询。同时，CarbonData也是一种将数据源与Spark集成的高性能分析引擎。
FlinkIoTDBSink样例程序 功能简介 IoTDB与Flink的集成。此模块包含了iotdb sink，通过flink job将时序数据写入IoTDB。 代码样例 该样例演示了从一个Flink job中发送数据到IoTDB server的场景。 一个模拟的Source S
FlinkIoTDBSink样例程序 功能简介 IoTDB与Flink的集成。此模块包含了iotdb sink，通过flink job将时序数据写入IoTDB。 代码样例 该样例演示了从一个Flink job中发送数据到IoTDB server的场景。 一个模拟的Source S
Netty/NIO及Hash/Sort配置 Shuffle是大数据处理中最重要的一个性能点，网络是整个Shuffle过程的性能点。目前Spark支持两种Shuffle方式，一种是Hash，另外一种Sort。网络也有两种方式，Netty和NIO。 表8 参数说明 参数 描述 默认值 spark
统计采集周期内该主机的文件句柄使用率。 80.0% 主机PID使用率 主机PID使用率。 90% 网络状态 TCP临时端口使用率 统计采集周期内该主机的TCP临时端口使用率。 80.0% 网络读信息 读包错误率 统计采集周期内该主机上该网口的读包错误率。 0.5% 读包丢包率 统计采集周期内该主机上该网口的读包丢包率。
组配置，确保用户名密码正确，及远端主机的安全组已增加SSH(22)端口的入方向规则。然后从3执行重新下载客户端。 连接到服务器失败，请检查网络连接或参数设置。 图1 下载客户端 选择“Flume”服务，单击“实例”，查看任意一个Flume实例和两个MonitorServer实例的“业务IP”。
32 128 ir3.8xlarge.4 KVM BMS规格 表7 鲲鹏V1实例型裸金属服务器的规格 规格名称/ID vCPU 内存（GB） 网络 physical.ks1ne.4xlarge 128 512 分布式 physical.ks1ne.8xlarge 128 1024 父主题：
Netty/NIO及Hash/Sort配置 Shuffle是大数据处理中最重要的一个性能点，网络是整个Shuffle过程的性能点。目前Spark支持两种Shuffle方式，一种是Hash，另外一种是Sort。网络也有两种方式，Netty和NIO。 表8 参数说明 参数 描述 默认值 spark
Scan数据时需要设置caching（一次从服务端读取的记录条数，默认是1），若使用默认值读性能会降到极低。 当不需要读一条数据所有的列时，需要指定读取的列，以减少网络IO。 只读取RowKey时，可以为Scan添加一个只读取RowKey的filter（FirstKeyOnlyFilter或KeyOnlyFilter）。
输；Kafka 2.4.0及之后版本，Kafka内核支持从follower副本消费数据，在跨机房、机架的场景中，会大大降低数据传输量，减轻网络带宽压力。社区开放了ReplicaSelector接口来支持此特性，MRS Kafka中默认提供两种实现此接口的方式。 RackAware
h、Kibana、Cerebro等软件。 约束与限制 已安装MRS的Hive服务和CSS的Elasticsearch服务，并且两个集群之间网络互通。 适用于MRS 3.x及之后版本。 步骤一：配置云搜索服务索引并下载jar包 在云搜索服务的“集群管理”页面上，单击集群“操作”列的
该章节操作适用于MRS 3.5.0及之后版本。 前提条件 已创建包含Doris服务的集群，集群内各服务运行正常。 待连接Doris数据库的节点与MRS集群网络互通。 创建具有Doris管理权限的用户。 集群已启用Kerberos认证（安全模式） 在FusionInsight Manager中创建
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
