检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
该章节操作适用于MRS 3.5.0及之后版本。 前提条件 已创建包含Doris服务的集群,集群内各服务运行正常。 待连接Doris数据库的节点与MRS集群网络互通。 创建具有Doris管理权限的用户。 集群已启用Kerberos认证(安全模式) 在FusionInsight Manager中创建
Scan数据时需要设置caching(一次从服务端读取的记录条数,默认是1),如果使用默认值读性能会降到极低。 当不需要读一条数据所有的列时,需要指定读取的列,以减少网络IO。 只读取RowKey时,可以为Scan添加一个只读取RowKey的filter(FirstKeyOnlyFilter或KeyOnlyFilter)。
数据磁盘持久化:消息不在内存中缓存,直接写入到磁盘,充分利用磁盘的顺序读写性能。 Zero-copy:减少IO操作步骤。 数据批量发送:提高网络利用率。 Topic划分为多个Partition,提高并发度,可以由多个Producer、Consumer数目之间的关系并发来读、写消息。
统计采集周期内该主机的文件句柄使用率。 80.0% 主机PID使用率 主机PID使用率。 90% 网络状态 TCP临时端口使用率 统计采集周期内该主机的TCP临时端口使用率。 80.0% 网络读信息 读包错误率 统计采集周期内该主机上该网口的读包错误率。 0.5% 读包丢包率 统计采集周期内该主机上该网口的读包丢包率。
这些问题,MRS支持一键式创建、删除、扩容和缩容集群的能力,用户可以自定义集群的类型,组件范围,各类型的节点数、虚拟机规格、可用区、VPC网络、认证信息,MRS将为用户自动创建一个符合配置的集群,全程无需用户参与。同时支持用户快速创建多应用场景集群,比如快速创建Hadoop分析集
32 128 ir3.8xlarge.4 KVM BMS规格 表7 鲲鹏V1实例型裸金属服务器的规格 规格名称/ID vCPU 内存(GB) 网络 physical.ks1ne.4xlarge 128 512 分布式 physical.ks1ne.8xlarge 128 1024 父主题:
Hive数据脱敏 Ranger支持对Hive数据进行脱敏处理(Data Masking),可对用户执行的select操作的返回结果进行处理,以屏蔽敏感信息。 登录Ranger WebUI界面,在首页中单击“HADOOP SQL”区域的“Hive” 在“Masking”页签单击“Add New
Spark2x表数据脱敏 Ranger支持对Spark2x数据进行脱敏处理(Data Masking),可对用户执行的select操作的返回结果进行处理,以屏蔽敏感信息。 修改服务端和客户端spark.ranger.plugin.masking.enable参数值为true。 服务端:登录FusionInsight
Spark2x表数据脱敏 Ranger支持对Spark2x数据进行脱敏处理(Data Masking),可对用户执行的select操作的返回结果进行处理,以屏蔽敏感信息。 修改服务端和客户端spark.ranger.plugin.masking.enable参数值为true。 服务端:登录FusionInsight
输;Kafka 2.4.0及之后版本,Kafka内核支持从follower副本消费数据,在跨机房、机架的场景中,会大大降低数据传输量,减轻网络带宽压力。社区开放了ReplicaSelector接口来支持此特性,MRS Kafka中默认提供两种实现此接口的方式。 RackAware
Scan数据时需要设置caching(一次从服务端读取的记录条数,默认是1),若使用默认值读性能会降到极低。 当不需要读一条数据所有的列时,需要指定读取的列,以减少网络IO。 只读取RowKey时,可以为Scan添加一个只读取RowKey的filter(FirstKeyOnlyFilter或KeyOnlyFilter)。
procId: 64 completed 在Linux中调测Phoenix样例 在linux环境中调测Phoenix样例,需有与集群环境网络相通的ECS,详情请参见准备本地应用开发环境。 修改样例。将样例代码TestMain中“enablePhoenix”值改为“true”,开启调用Phoenix样例程序接口。
CDM集群的规格,按待迁移的数据量选择,一般选择“cdm.medium”即可,满足大部分迁移场景。 CDM集群所在VPC、子网、安全组,选择与MRS集群所在的网络一致。 CDM集群创建完成后,选择集群操作列的“绑定弹性IP”,CDM通过EIP访问MRS HDFS。 图2 集群列表 如果用户对本地数据
h、Kibana、Cerebro等软件。 约束与限制 已安装MRS的Hive服务和CSS的Elasticsearch服务,并且两个集群之间网络互通。 适用于MRS 3.x及之后版本。 步骤一:配置云搜索服务索引并下载jar包 在云搜索服务的“集群管理”页面上,单击集群“操作”列的
输;Kafka 2.4.0及之后版本,Kafka内核支持从follower副本消费数据,在跨机房、机架的场景中,会大大降低数据传输量,减轻网络带宽压力。社区开放了ReplicaSelector接口来支持此特性,MRS Kafka中默认提供两种实现此接口的方式。 RackAware
Ranger支持对HetuEngine数据进行脱敏处理(Data Masking),可对用户执行的select操作的返回结果进行处理,以屏蔽敏感信息。 登录Ranger WebUI界面,在首页中单击“PRESTO”区域的“HetuEngine”。 在“Masking”页签单击“Add
/opt/knox/bin/restart-knox.sh 重启完成后在浏览器地址栏中,输入并访问FusionInsight Manager的网络地址,验证能否正常打开页面。 企业证书有效时间已过期或安全性加强,MRS更换为新的证书后,请同步更换本地证书。 登录FusionInsight
3.2.0-LTS.1。 组件选择:请根据业务需求合理选择需要的组件,部分类型集群创建后不支持添加服务。 元数据:选择“本地元数据”。 网络配置: 可用区:默认即可。 虚拟私有云:默认即可。 子网:默认即可。 安全组:默认即可。 弹性公网IP:默认即可。 节点配置: CPU架构:默认即可。MRS
JavaPairDStream:KV DStream的接口,提供reduceByKey和join等操作。 JavaReceiverInputDStream<T>:定义任何从网络接收数据的输入流。 Spark Streaming的常见方法与Spark Core类似,下表罗列了Spark Streaming特有的一些方法。
JavaPairDStream:KV DStream的接口,提供reduceByKey和join等操作。 JavaReceiverInputDStream<T>:定义任何从网络接收数据的输入流。 Spark Streaming的常见方法与Spark Core类似,下表罗列了Spark Streaming特有的一些方法。