检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
场景一:准备本地Windows开发环境调测程序所需配置文件。
开发环境准备分为应用开发客户端和应用提交客户端;应用开发一般是在Windows环境下进行;应用提交一般是在Linux环境下进行。 在进行二次开发时,要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统,推荐Windows 7以上版本。
Spark应用程序只支持在Linux环境下运行,不支持在Windows环境下运行。 使用Python开发的Spark应用程序无需打包成jar,只需将样例工程拷贝到编译机器上即可。
Flink DataStream样例程序开发思路 场景说明 假定用户有某个网站周末网民网购停留时间的日志文本,基于某些业务要求,要求开发Flink的DataStream应用程序实现如下功能: DataStream应用程序可以在Windows环境和Linux环境中运行。
Flink DataStream样例程序开发思路 场景说明 假定用户有某个网站周末网民网购停留时间的日志文本,基于某些业务要求,要求开发Flink的DataStream应用程序实现如下功能: DataStream应用程序可以在Windows环境和Linux环境中运行。
Flink DataStream样例程序开发思路 场景说明 假定用户有某个网站周末网民网购停留时间的日志文本,基于某些业务要求,要求开发Flink的DataStream应用程序实现如下功能: DataStream应用程序可以在Windows环境和Linux环境中运行。
Flink DataStream应用开发思路 假定用户有某个网站网民周末网购停留时间的日志文本,基于某些业务要求,要求开发Flink的DataStream应用程序实现如下功能: DataStream应用程序可以在Windows环境和Linux环境中运行。
表1 开发环境 准备项 说明 操作系统 Windows系统,推荐Windows 7及以上版本。 安装JDK 开发环境的基本配置。版本要求:1.8及以上。 安装和配置Eclipse 用于开发HBase应用程序的工具。 安装Maven 用于编译样例工程。
Flink DataStream样例程序开发思路 场景说明 假定用户有某个网站周末网民网购停留时间的日志文本,基于某些业务要求,要求开发Flink的DataStream应用程序实现如下功能: DataStream应用程序可以在Windows环境和Linux环境中运行。
在Linux环境中调测Storm应用 操作场景 Storm应用程序不支持在Windows环境下运行,只支持在Linux环境下运行。 在Linux环境下可以使用storm命令行完成拓扑的提交。 前提条件 已安装Storm客户端。
HDFS应用程序只支持在Linux环境下运行,不支持在Windows环境下运行。 前提条件 已安装HDFS客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
场景一:准备本地Windows开发环境调测程序所需配置文件。 下载并解压客户端软件包。
调测Spark应用 配置Windows通过EIP访问集群Spark 在本地Windows环境中调测Spark应用 在Linux环境中调测Spark应用 父主题: Spark2x开发指南(普通模式)
调测Spark应用 配置Windows通过EIP访问集群Spark 在本地Windows环境中调测Spark应用 在Linux环境中调测Spark应用 父主题: Spark2x开发指南(安全模式)
在本地Windows的“C:\Windows\System32\drivers\etc\hosts”中,配置3中获取的映射关系,并将所有Master节点的IP修改为对应节点绑定的弹性公网IP。
图1 聚合日志失败页面 回答 原因:弹出的URL地址(如https://<hostname>:20026/Spark2x/JobHistory2x/xx/history/application_xxx/jobs/),其中的<hostname>没有在Windows系统的hosts文件中添加域名信息
图1 聚合日志失败页面 回答 原因:弹出的URL地址(如https://<hostname>:20026/Spark2x/JobHistory2x/xx/history/application_xxx/jobs/),其中的<hostname>没有在Windows系统的hosts文件中添加域名信息
调测ClickHouse应用 在本地Windows环境中调测ClickHouse应用(MRS 3.3.0之前版本) 在本地Windows环境中调测ClickHouse应用(MRS 3.3.0及之后版本) 在Linux环境中调测ClickHouse应用(MRS 3.3.0之前版本)
调测ClickHouse应用 在本地Windows环境中调测ClickHouse应用(MRS 3.3.0之前版本) 在本地Windows环境中调测ClickHouse应用(MRS 3.3.0及之后版本) 在Linux环境中调测ClickHouse应用(MRS 3.3.0之前版本)
在Windows或Linux上创建一个目录作为运行目录。 在Windows创建路径“D:\Spring”, 将“huawei-spring-boot-kafka-examples-*.jar”和application.properties上传到当前路径下面。