-
Flink Job Pipeline样例程序开发思路 - MapReduce服务 MRS
本样例中发布者Job自己每秒钟产生10000条数据,然后经由该job的NettySink算子向下游发送。另外两个Job作为订阅者,分别订阅一份数据。 数据规划 发布者Job使用自定义算子每秒钟产生10000条数据 数据包含两个属性:分别是Int和String类型 配置文件 nettyconnector
-
Flink HA方案介绍 - MapReduce服务 MRS
alone模式提供HA机制,使集群能够从失败中恢复。这里主要介绍Yarn模式下的HA方案。 Flink支持HA模式和Job的异常恢复。这两项功能高度依赖ZooKeeper,在使用之前用户需要在“flink-conf.yaml”配置文件中配置ZooKeeper,配置ZooKeeper的参数如下:
-
配置Flink SQL Client支持SQL校验功能 - MapReduce服务 MRS
-v”参数进入校验模式。 sql-client.sh -f test.sql -v 通过FlinkSQL Client提交作业 MRS集群中已安装Flink组件且集群内各组件正常运行。 已安装集群客户端,例如安装目录为“/opt/hadoopclient”。 以客户端安装用户,登录安装客户端的节点。
-
端口被占用导致RegionServer启动失败 - MapReduce服务 MRS
DFSZkFailoverController占用。 查看“/proc/sys/net/ipv4/ip_local_port_range”显示为“9000 65500”,临时端口范围与MRS产品端口范围重叠,因为安装时未进行preinstall操作。 解决办法 执行kill -9
-
取消隔离主机 - MapReduce服务 MRS
取消隔离主机”。 图2 取消隔离主机 确认待取消隔离主机信息并单击“确定”。 界面提示“操作成功。”,单击“完成”,主机成功取消隔离,“操作状态”显示为“正常”。 父主题: 节点管理
-
使用Presto - MapReduce服务 MRS
Presto查询报错“The node may have crashed or be under too much load” MRS集群如何使用公网访问Presto
-
Manager应用开发常见问题 - MapReduce服务 MRS
be found for logger” 运行Manager应用报错“illegal character in path at index” 如何通过curl命令访问Manager REST API 父主题: Manager管理开发指南
-
Scala样例代码 - MapReduce服务 MRS
Scala样例代码 功能介绍 实时统计连续网购时间超过半个小时的女性网民信息,将统计结果直接打印或者输出写入到Kafka中。 Spark Streaming Write To Print代码样例 下面代码片段仅为演示,具体代码参见com.huawei.bigdata.spark.examples
-
Storm应用开发常见问题 - MapReduce服务 MRS
Storm-JDBC开发指引 Storm-HDFS开发指引 Storm-HBase开发指引 Storm Flux开发指引 Storm对外接口介绍 如何使用IDEA远程调试业务 IntelliJ IDEA中远程提交拓扑执行Main时报错:Command line is too long 父主题:
-
ZooKeeper常见问题 - MapReduce服务 MRS
为什么ZooKeeper Server出现java.io.IOException: Len的错误日志 为什么ZooKeeper节点上netcat命令无法正常运行 如何查看哪个ZooKeeper实例是leader 使用IBM JDK时客户端无法连接ZooKeeper ZooKeeper客户端刷新TGT失败
-
Doris常见问题 - MapReduce服务 MRS
报错 使用Stream Load时报RPC超时错误 使用MySQL客户端连接Doris数据库时报错“plugin not enabled”如何处理 FE启动失败 BE匹配错误IP导致启动失败 MySQL客户端连接Doris报错“Read timed out” BE运行数据导入或查询任务报错
-
导入并配置Spark样例工程 - MapReduce服务 MRS
参考获取MRS应用开发样例工程,获取样例代码解压目录中“spark-examples”目录下的“sparksecurity-examples”文件夹中的Scala、Spark Streaming等多个样例工程。 安装IntelliJ IDEA和JDK工具后,需要在IntelliJ IDEA中配置JDK。 打开IntelliJ
-
Loader连接配置说明 - MapReduce服务 MRS
OBS连接是Loader与OBS进行数据交换的通道,配置参数如表1所示。 表1 obs-connector配置 参数 说明 名称 指定一个Loader连接的名称。 OBS服务器 输入OBS endpoint地址,一般格式为OBS.Region.DomainName。 例如执行如下命令查看OBS endpoint地址:
-
Flink Job Pipeline样例程序开发思路 - MapReduce服务 MRS
本样例中发布者Job自己每秒钟产生10000条数据,然后经由该job的NettySink算子向下游发送。另外两个Job作为订阅者,分别订阅一份数据。 数据规划 发布者Job使用自定义算子每秒钟产生10000条数据。 数据包含两个属性:分别是Int和String类型。 配置文件。 nettyconnector
-
MRS 2.1.0.2补丁说明 - MapReduce服务 MRS
2 发布时间 2020-04-22 解决的问题 MRS 2.1.0.2 修复问题列表: MRS Manager nodeagent重启后不显示监控信息 长时间提交作业,manager executor进程会内存溢出 支持提交作业,manager executor可配置并发度功能 MRS
-
Java样例代码 - MapReduce服务 MRS
Java样例代码 功能介绍 实时统计连续网购时间超过半个小时的女性网民信息,将统计结果直接打印或者输出写入到Kafka中。 Spark Streaming Write To Print代码样例 下面代码片段仅为演示,具体代码参见com.huawei.bigdata.spark.examples
-
Flink滑动窗口增强 - MapReduce服务 MRS
并将其保存到对应的pane中。 一个数据仅保存在一个pane中,内存中只有一份。 图3 窗口保存数据示例 当需要触发某个窗口时,计算该窗口包含的所有pane,并取出合并成一个完整的窗口计算。 图4 窗口触发计算示例 当某个pane不再需要时,将其从内存中删除。 图5 窗口删除示例
-
导入并配置IoTDB样例工程 - MapReduce服务 MRS
xml文件,然后单击“OK”。 选择“Open as Project” 导入结束,IDEA主页显示导入的样例工程。 图8 导入样例工程成功 设置项目使用的Maven版本。 在IntelliJ IDEA的菜单栏中,选择“File > Settings...”。 图9 Settings 选择“Build
-
停止或卸载Flume客户端 - MapReduce服务 MRS
/opt/FlumeClient/fusioninsight-flume-Flume组件版本号/bin ./flume-manage.sh stop 执行脚本后,显示如下信息,说明成功的停止了Flume客户端: Stop Flume PID=120689 successful.. Flume客户端停止后
-
使用Sqoop - MapReduce服务 MRS
使用Sqoop Sqoop如何连接MySQL Sqoop读取MySQL数据到HBase时报HBaseAdmin.<init>方法找不到异常 通过Hue创建Sqoop任务将数据从HBase导入HDFS时报错 通过Sqoop从Hive导出数据到MySQL 8.0时报数据格式错误 通过sqoop