检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
zkRegisterServerHandler = new ZookeeperRegisterServerHandler(); //添加NettySource算子，接收来自发布者的消息 env.addSource(new NettySource("NettySource-1", "TOPIC-2"
MRS基于华为云弹性云服务器ECS构建的大数据集群，充分利用了其虚拟化层的高可靠、高安全的能力。 虚拟私有云（VPC）为每个租户提供的虚拟内部网络，默认与其他网络隔离。 云硬盘（EVS）提供高可靠、高性能的存储。 弹性云服务器（ECS）提供的弹性可扩展虚拟机，结合VPC、安全组、EVS数据多副本等能力打造一个高效、可靠、安全的计算环境。
选择Redis数据连接类型时，需提前准备“分布式缓存服务 Redis版”实例，并确保其“实例类型”为“Cluster集群”、“访问方式”为“免密访问”、同时“区域”和“虚拟私有云”需与Flink所在集群相同。 - 数据连接名称 数据连接的名称。 - 集群连接 配置管理里的集群连接名称。 HDFS类型数据连接需配置该参数。
注意：在此处设定的输出结果序列的类型，决定了“transform”方法中“PointCollector”实际能够接收的数据类型。“setOutputDataType”中设定的输出类型和“PointCollector”实际能够接收的数据输出类型关系如下： 表4 “PointCollector”能接受到的数据类型与输出的对应关系
CDL常见问题 为什么CDL任务执行后Hudi中没有接收到数据 MySQL链路任务启动时如何从指定位置抓取数据 为什么在Ranger中删除用户权限后，该用户仍能够操作自己创建的任务 父主题： 使用CDL
//添加NettySource算子，接收数据 env.addSource(new NettySource("NettySource-2", "TOPIC-2", zkRegisterServerHandler)) .map(x=>(2, new String(x)))//将接收到的字节数组转化成字符串
zkRegisterServerHandler = new ZookeeperRegisterServerHandler(); //添加NettySource算子，接收来自发布者的消息 env.addSource(new NettySource("NettySource-1", "TOPIC-2"
看“集群ID”和“虚拟私有云”名称。 登录ECS管理控制台，在搜索栏选择“名称”输入MRS集群ID，搜索MRS集群的所有节点。 在MRS集群节点的操作列选择“更多 > 网络设置 > 切换VPC”，切换节点VPC。 每个节点都需要切换VPC。 切换VPC时“虚拟私有云”、“子网”、“安全组”需要和集群初始的配置一致。
有失败处理的结果是一致的。 因此，Direct API消除了需要使用WAL和Receivers的情况，且确保每个Kafka记录仅被接收一次，这种接收更加高效。使得Spark Streaming和Kafka可以很好地整合在一起。总体来说，这些特性使得流处理管道拥有高容错性、高效性及易用性，因此推荐使用Direct
方面，同一个国家各个区域间区别不大，如果您或者您的目标用户在同一个国家，可以不用考虑不同区域造成的网络时延问题。 在除中国大陆以外的亚太地区的用户，可以选择“中国-香港”、“亚太-曼谷”或“亚太-新加坡”区域。 在非洲地区有业务的用户，可以选择“南非-约翰内斯堡”区域。 在欧洲地
责任在于对使用的IaaS、PaaS和SaaS类各项云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统，虚拟防火墙、API网关和高级安全服务，各项云服务，租户数据，以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》
nodemanager.vmem-check-enabled 是否进行虚拟内存检测的开关。如果任务使用的内存量超出分配值，则直接将任务强制终止。 设置为true时，进行虚拟内存检测； 设置为false时，不进行虚拟内存检测。 true yarn.nodemanager.pmem-check-enabled
型的节点数、虚拟机规格、可用区、VPC网络、认证信息，MRS将为用户自动创建一个符合配置的集群，全程无需用户参与。同时支持用户快速创建多应用场景集群，比如快速创建Hadoop分析集群、HBase集群、Kafka集群。MRS支持部署异构集群，在集群中存在不同规格的虚拟机，允许在CP
nodemanager.vmem-check-enabled 是否进行虚拟内存检测的开关。如果任务使用的内存量超出分配值，则直接将任务强制终止。 设置为true时，进行虚拟内存检测； 设置为false时，不进行虚拟内存检测。 MRS 3.x之前的版本集群:false MRS 3.x及后续版本集群:true
createWordCountStream(final StreamsBuilder builder) { // 从 input-topic 接收输入记录 final KStream<String, String> source = builder.stream(INPUT_TOPIC_NAME);
保存提交数据，出现类似报错：Invalid query parameter jobgroup id. cause: [jobgroup]。 原因 IE 11浏览器的某些版本在接收到HTTP 307响应时，会将POST请求转化为GET请求，从而使得POST数据无法下发到服务端。 解决建议 使用Google Chrome浏览器。
保存提交数据，出现类似报错：Invalid query parameter jobgroup id. cause: [jobgroup]。 原因 IE 11浏览器的某些版本在接收到HTTP 307响应时，会将POST请求转化为GET请求，从而使得POST数据无法下发到服务端。 解决建议 使用Google Chrome浏览器。
选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 在“网络信息”区域查看“虚拟私有云”。 进入虚拟私有云管理控制台，在左侧导航处选择“虚拟私有云”，获取3中查询的“虚拟私有云”对应的“IPv4网段”。 图1 获取IPv4网段地址 在VPC控制台左侧导航处选择“访问控制
在“现有集群”列表中，单击已创建的集群名称。 记录集群的“可用分区”、“虚拟私有云”，以及Master节点的“默认安全组”。 在弹性云服务管理控制台，创建一个新的弹性云服务器。 弹性云服务器的“可用分区”、“虚拟私有云”、“安全组”，需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。
支持定制传输前后准备工作。Flume支持定制脚本，指定在传输前或者传输后执行指定的脚本，用于执行准备工作。 管理客户端告警。Flume通过MonitorServer接收Flume客户端告警，并上报Manager告警管理中心。 父主题： Flume
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
