检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink Job Pipeline样例程序开发思路 场景说明 本样例中发布者Job自己每秒钟产生10000条数据,然后经由该job的NettySink算子向下游发送。另外两个Job作为订阅者,分别订阅一份数据。 数据规划 发布者Job使用自定义算子每秒钟产生10000条数据。
Flink Job Pipeline样例程序(Java) 下面列出的主要逻辑代码作为演示。 完整代码请参阅: com.huawei.bigdata.flink.examples.UserSource。 com.huawei.bigdata.flink.examples.TestPipelineNettySink。
Flink Job Pipeline样例程序(Scala) 下面列出的主要逻辑代码作为演示。 完整代码请参阅: com.huawei.bigdata.flink.examples.UserSource。 com.huawei.bigdata.flink.examples.TestPipeline_NettySink。
Flink Job Pipeline样例程序(Java) 发布Job自定义Source算子产生数据 下面代码片段仅为演示,完整代码参见FlinkPipelineJavaExample样例工程下的com.huawei.bigdata.flink.examples.UserSource:
BE匹配错误IP导致启动失败 现象描述 BE实例启动失败,报错: backend ip saved in master does not equal to backend local ipx.x.x.x vs. x.x.x.x 原因分析 BE安装节点有多个网卡IP,没有正确设置“
首先应下载一个数据库,可根据具体场景选择最适合的数据库。 该任务以Derby数据库为例。Derby是一个小型的,java编写的,易于使用却适合大多数应用程序的开放源码数据库。 Derby数据库的获取。在官网下载最新版的Derby数据库,将下载下来的数据库将传入Linux客户端(如"/opt"),并解压。
选择需导入的样例工程路径,然后单击“OK”。 图13 Select File or Directory to Import 选择从已存在的源码创建工程,然后单击“Next”。 图14 Create project from existing sources 确认导入路径和工程名称,单击“Next”。
选择需导入的样例工程路径,然后单击“OK”。 图13 Select File or Directory to Import 选择从已存在的源码创建工程,然后单击“Next”。 图14 Create project from existing sources 确认导入路径和工程名称,单击“Next”。
Flink Job Pipeline样例程序开发思路 场景说明 本样例中发布者Job自己每秒钟产生10000条数据,然后经由该job的NettySink算子向下游发送。另外两个Job作为订阅者,分别订阅一份数据。 数据规划 发布者Job使用自定义算子每秒钟产生10000条数据 数
MapReduce开源增强特性 MapReduce开源增强特性:JobHistoryServer HA特性 JobHistoryServer(JHS)是用于查看MapReduce历史任务信息的服务器,当前开源JHS只支持单实例服务。JobHistoryServer HA能够解决J
首先应下载一个数据库,可根据具体场景选择最适合的数据库。 该任务以Derby数据库为例。Derby是一个小型的,java编写的,易于使用却适合大多数应用程序的开放源码数据库。 Derby数据库的获取。在官网下载最新版的Derby数据库,将下载下来的数据库将传入Linux客户端(如"/opt"),并解压。
修改MRS集群节点操作系统用户密码 该任务指导用户定期修改MRS集群节点操作系统用户omm、ommdba、root的登录密码,以提升系统运维安全性。各节点操作系统用户无需设置为统一的密码。 默认集群操作系统用户密码有效期为90天,如果需要修改操作系统用户密码有效期,可以参考修改MRS操作系统用户密码有效期进行配置。
浮动IP不通导致DBService备份失败 问题背景与现象 在默认备份default中DBService备份失败,其他备份(NameNode、LdapServer、OMS备份)成功。 原因分析 查看DBService的备份页面错误信息,有如下错误信息提示: Clear temporary
修改或重置MRS集群admin用户密码 “admin”是Manager的系统管理员账号,建议用户参考修改admin用户密码定期修改密码,提高系统安全性。用户在密码丢失情况可参考重置admin用户密码进行重置。 修改该密码会导致已经下载的用户凭证不可用,请修改该密码后重新下载认证凭据并替换旧凭据。
Kafka/install_files/kafka/libs/* /opt/client/lib 准备应用程序 通过开源镜像站获取样例工程。 下载样例工程的Maven工程源码和配置文件,并在本地配置好相关开发工具,可参考通过开源镜像站获取样例工程。 根据集群版本选择对应的分支,下载并获取MRS相关样例工程。 例
选择需导入的样例工程路径,然后单击“OK”。 图13 Select File or Directory to Import 选择从已存在的源码创建工程,然后单击“Next”。 图14 Create project from existing sources 确认导入路径和工程名称,单击“Next”。
如何修改DBService的IP地址? 问: 如何修改DBService的浮动IP地址? 答: MRS集群内不支持修改DBService的IP地址。 父主题: 组件配置类
ALM-12072 floatip资源异常 告警解释 HA每9秒周期性检测Manager的floatip资源。当HA连续3次检测到floatip资源异常时,产生该告警。 当HA检测到floatip资源正常后,告警恢复。 floatip资源为单主资源,一般资源异常会导致主备倒换,看
Flink Job Pipeline样例程序 Flink Job Pipeline样例程序开发思路 Flink Job Pipeline样例程序(Java) Flink Job Pipeline样例程序(Scala) 父主题: 开发Flink应用
Flink Job Pipeline样例程序 Flink Job Pipeline样例程序开发思路 Flink Job Pipeline样例程序(Java) Flink Job Pipeline样例程序(Scala) 父主题: 开发Flink应用