检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
备注说明 一般出现上述现象,说明集群负载很大,通过调整参数只是临时规避这个问题,建议还是降低集群负载。 例如:避免把所有CPU都分配MapReduce跑任务。 父主题: 使用HDFS
说明: 基于安全考虑,服务端只支持TLS V1.2及以上的加密协议。
说明: 基于安全考虑,服务端只支持TLS V1.2及以上的加密协议。
表2 重启策略以及影响 组件名称 重启策略 影响范围 影响时间 meta 直接重启 Yarn超大频率获取临时AKSK时可能触发流控,正常场景不涉及。
说明: 基于安全考虑,服务端只支持TLS V1.2及以上的加密协议。
说明: 基于安全考虑,服务端只支持TLS V1.2及以上的加密协议。
父主题: 周边云服务对接
LTS.1.2 Hive、Spark、HBase、Kudu、Impala、Flink、HetuEngine、CDL、Doris、JobGateway及HetuEngine计算实例 表2 重启策略以及影响 组件名称 重启策略 影响范围 影响时间 meta 直接重启 Yarn超大频率获取临时
告警解释 FlinkServer主节点或备节点连续30秒(keepalive配置的心跳中断时间)未收到对端的心跳消息后,系统产生告警。 当心跳恢复后,告警恢复。
如何创建集群 自定义购买集群 创建存算分离集群 扩容集群 配置弹性伸缩规则 升级Master节点规格 配置消息通知 如何登录集群 登录集群节点 集群内节点使用MRS客户端 更新客户端 开源组件Web站点 开源组件端口列表 修改组件运行用户密码 如何提交作业 运行MapReduce作业
版本要求如下: 服务端和客户端仅支持自带的OpenJDK,版本为1.8.0_272,不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。 X86客户端:Oracle JDK:支持1.8版本;IBM JDK:支持1.8.5.11版本。
假定某个Flink业务1每秒就会收到1条消息记录,消息记录某个用户的基本信息,包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录,消息记录该用户的名字、职业信息。实现实时的以根据业务2中消息记录的用户名字作为关键字,对两个业务数据进行联合查询的功能。
假定某个Flink业务1每秒就会收到1条消息记录,消息记录某个用户的基本信息,包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录,消息记录该用户的名字、职业信息。实现实时的以根据业务2中消息记录的用户名字作为关键字,对两个业务数据进行联合查询的功能。
当该通道中接收到消息时,该Handler负责将消息注入到Job内部。另外,为保证数据安全传输,该通道通过SSL加密,与NettySink进行通信。
Web服务器参数的配置项包括端口,临时目录,显示项目,错误重定向,安全相关等。 File Systems: Task运行中会创建结果文件,支持对文件创建行为进行配置,配置项包括文件覆盖策略,目录创建等。
前提条件 集群已安装HetuEngine、Hive服务及其所依赖的服务(DBService、KrbServer、Zookeeper、HDFS、Yarn、MapReduce)且运行正常。
安装JDK 开发和运行环境的基本配置,版本要求如下: 服务端和客户端仅支持自带的OpenJDK,版本为1.8.0_272,不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。
版本要求如下: 服务端和客户端仅支持自带的OpenJDK,版本为1.8.0_272,不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。
table2表有记录key=1,cf:cid=1000,表示用户1的历史消息记录金额为1000元。 基于某些业务要求,要求开发Spark应用程序实现如下功能: 根据用户名累计用户的历史消费金额,即用户总消费金额=100(用户当天的消费金额) + 1000(用户历史消费金额)。
说明: 基于安全考虑,服务端只支持TLS V1.2及以上的加密协议。