检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
命时,则发送信息通知给对应租户。 在用户集群的ECS机器被删除、关机、修改规格、重启、更新OS的行为,会导致大数据集群异常,当检测到用户的虚拟机出现以上状态的时候,发送通知给对应用户。 创建主题 主题是消息发布或客户端订阅通知的特定事件类型。它作为发送消息和订阅通知的信道,为发布者和订阅者提供一个可以相互交流的通道。
CDL常见问题 为什么CDL任务执行后Hudi中没有接收到数据 MySQL链路任务启动时如何从指定位置抓取数据 为什么在Ranger中删除用户权限后,该用户仍能够操作自己创建的任务 父主题: 使用CDL
zkRegisterServerHandler = new ZookeeperRegisterServerHandler(); //添加NettySource算子,接收来自发布者的消息 env.addSource(new NettySource("NettySource-1", "TOPIC-2"
zkRegisterServerHandler = new ZookeeperRegisterServerHandler(); //添加NettySource算子,接收来自发布者的消息 env.addSource(new NettySource("NettySource-1", "TOPIC-2"
zkRegisterServerHandler = new ZookeeperRegisterServerHandler(); //添加NettySource算子,接收来自发布者的消息 env.addSource(new NettySource("NettySource-1", "TOPIC-2"
//添加NettySource算子,接收数据 env.addSource(new NettySource("NettySource-2", "TOPIC-2", zkRegisterServerHandler)) .map(x=>(2, new String(x)))//将接收到的字节数组转化成字符串
zkRegisterServerHandler = new ZookeeperRegisterServerHandler(); //添加NettySource算子,接收来自发布者的消息 env.addSource(new NettySource("NettySource-1", "TOPIC-2"
有失败处理的结果是一致的。 因此,Direct API消除了需要使用WAL和Receivers的情况,且确保每个Kafka记录仅被接收一次,这种接收更加高效。使得Spark Streaming和Kafka可以很好地整合在一起。总体来说,这些特性使得流处理管道拥有高容错性、高效性及易用性,因此推荐使用Direct
看“集群ID”和“虚拟私有云”名称。 登录ECS管理控制台,在搜索栏选择“名称”输入MRS集群ID,搜索MRS集群的所有节点。 在MRS集群节点的操作列选择“更多 > 网络设置 > 切换VPC”,切换节点VPC。 每个节点都需要切换VPC。 切换VPC时“虚拟私有云”、“子网”、“安全组”需要和集群初始的配置一致。
createWordCountStream(final StreamsBuilder builder) { // 从 input-topic 接收输入记录 final KStream<String, String> source = builder.stream(INPUT_TOPIC_NAME);
责任在于对使用的IaaS、PaaS和SaaS类各项云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》
nodemanager.vmem-check-enabled 是否进行虚拟内存检测的开关。如果任务使用的内存量超出分配值,则直接将任务强制终止。 设置为true时,进行虚拟内存检测; 设置为false时,不进行虚拟内存检测。 true yarn.nodemanager.pmem-check-enabled
保存提交数据,出现类似报错:Invalid query parameter jobgroup id. cause: [jobgroup]。 原因 IE 11浏览器的某些版本在接收到HTTP 307响应时,会将POST请求转化为GET请求,从而使得POST数据无法下发到服务端。 解决建议 使用Google Chrome浏览器。
保存提交数据,出现类似报错:Invalid query parameter jobgroup id. cause: [jobgroup]。 原因 IE 11浏览器的某些版本在接收到HTTP 307响应时,会将POST请求转化为GET请求,从而使得POST数据无法下发到服务端。 解决建议 使用Google Chrome浏览器。
nodemanager.vmem-check-enabled 是否进行虚拟内存检测的开关。如果任务使用的内存量超出分配值,则直接将任务强制终止。 设置为true时,进行虚拟内存检测; 设置为false时,不进行虚拟内存检测。 MRS 3.x之前的版本集群:false MRS 3.x及后续版本集群:true
权限名 允许的操作 示例 java.net.SocketPermission 主机名:端口:指定主机和端口 *:所有地址和端口 accept:接收 listen:侦听 connect:连接 resolve:解析 允许实现所有套接字操作: permission java.net.SocketPermission
在“现有集群”列表中,单击已创建的集群名称。 记录集群的“可用分区”、“虚拟私有云”,以及Master节点的“默认安全组”。 在弹性云服务管理控制台,创建一个新的弹性云服务器。 弹性云服务器的“可用分区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。
选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在“网络信息”区域查看“虚拟私有云”。 进入虚拟私有云管理控制台,在左侧导航处选择“虚拟私有云”,获取3中查询的“虚拟私有云”对应的“IPv4网段”。 图1 获取IPv4网段地址 在VPC控制台左侧导航处选择“访问控制
当前请求发起方所属区域,只能包数字和下划线。 0755_01 接收超时时长(秒) 等待接收数据的超时时长(单位:秒)。 60 Task总超时时长(秒) 每个跨域Task执行的总超时时长(单位:秒)。 300 Worker节点使用Task数 每个Worker节点接收数据时使用的Task数量。 5 开启数据压缩
(系统默认阈值80%)进行比较,当检测到网络读吞吐率连续多次(默认值为5)超过阈值时产生该告警。 用户可通过“系统设置 > 阈值配置 > 设备 > 主机 > 网络读信息 > 网络读吞吐率 > 读吞吐率”修改阈值。 平滑次数为1,网络读吞吐率小于或等于阈值时,告警恢复;平滑次数大于