-
编译并运行MapReduce应用 - MapReduce服务 MRS
/opt/client/Hive/Beeline/lib/derby-10.10.2.0.jar derby-10.10.2.0.jar.bak命令。 命令中使用的jar包请根据集群中对应路径下的实际版本修改。 提交MapReduce任务,执行如下命令,运行样例工程。运行样例工程前需要根据实际环境修改认证信息。
-
插入HBase数据 - MapReduce服务 MRS
注意事项 不允许多个线程在同一时间共用同一个HTable实例。HTable是一个非线程安全类,因此,同一个HTable实例,不应该被多个线程同时使用,否则可能会带来并发问题。 父主题: 开发HBase应用
-
Spark Structured Streaming对接Kafka样例程序开发思路 - MapReduce服务 MRS
至请求事件时间+5m },为每条展示事件随机生成0-5条点击事件,点击事件的时间取值范围为{展示事件时间 至展示事件时间+5m } 开发思路 使用Structured Streaming接收Kafka中数据,生成请求流、展示流、点击流。 对请求流、展示流、点击流的数据进行关联查询。 统计结果写入kafka。
-
Spark Structured Streaming对接Kafka样例程序开发思路 - MapReduce服务 MRS
至请求事件时间+5m },为每条展示事件随机生成0-5条点击事件,点击事件的时间取值范围为{展示事件时间 至展示事件时间+5m } 开发思路 使用Structured Streaming接收Kafka中数据,生成请求流、展示流、点击流。 对请求流、展示流、点击流的数据进行关联查询。 统计结果写入kafka。
-
MRS 1.9.3.9及之后版本补丁说明 - MapReduce服务 MRS
pattern配置项设置单副本的数据文件和目录。 MRS 1.9.3.9及其后续补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即用户自行搭建的客户端)。如果集群之前安装了1.9.3.8补丁,不需要做此操作。 主Master节点的原始客户端全量更新,请参见
-
查看集群状态 - MapReduce服务 MRS
目前MRS商用收费基本要素为集群中的弹性云服务器。 包年/包月:根据集群购买时长,一次性支付集群费用。最短时长为1个月,最长时长为1年。 按需计费:节点按实际使用时长计费,计费周期为一小时。 计费类型下方显示购买的集群启动成功的时间,即计费开始时间。 创建时间 集群节点创建成功时间。仅“历史集群”会显示此参数。
-
Kafka基本原理 - MapReduce服务 MRS
Consumer/消费者 向Topic订阅,并且接收发布到这些Topic的消息。 各模块间关系如图2所示。 图2 Kafka模块间关系 消费者使用一个消费者组名称来标记自己,主题的每个消息被传递给每个订阅消费者组中的一个消费者。如果所有的消费者实例都属于同样的消费组,它们就以传统队列
-
ALM-16004 Hive服务不可用 - MapReduce服务 MRS
是,处理完毕。 否,执行29。 检查本地磁盘空间是否正常。 执行df -h命令检查根目录,查看“/srv”、“/var”和“/opt”目录挂载的磁盘使用是否超过95%。 是,执行30。 否,执行31。 清理对应目录下无用信息,保证可用磁盘空间大于80%,等待几分钟查看“Hive服务不可用”告警是否清除。
-
在本地Windows环境中调测ClickHouse应用(MRS 3.3.0及之后版本) - MapReduce服务 MRS
事务样例工程无需执行此步骤。 图2 复制配置文件绝对路径 使用clickhouse-example.properties路径替换Demo.java中getProperties()方法中proPath的路径。 图3 Demo.java路径替换 使用clickhouse-example.prop
-
准备连接IoTDB集群配置文件 - MapReduce服务 MRS
添加用户”,在新增用户界面,创建一个机机用户,例如developuser。 “用户组”需加入“iotdbgroup”用户组。 “角色”加入2新增的角色。 使用admin用户登录FusionInsight Manager,选择“系统 > 权限 > 用户”,在用户名为developuser的操作列选择“更多
-
Hive对接外置自建关系型数据库 - MapReduce服务 MRS
据库。 安装开源MySQL或Postgres数据库。 数据库安装节点需与集群处于同一网段,能互相访问。 上传驱动包。 Postgres: 使用开源驱动包替换集群已有的驱动包。将Postgres驱动包“postgresql-42.2.5.jar”上传至所有MetaStore实例节点
-
ALM-12006 节点故障 - MapReduce服务 MRS
/start-agent.sh 等待一段时间观察告警是否自动清除。 是,处理完毕。 否,执行17。 检查是否NodeAgent进程故障。 使用omm用户登录故障节点,执行如下命令。 ps -ef | grep "Dprocess.name=nodeagent" | grep -v
-
运行MapReduce作业 - MapReduce服务 MRS
jar”结尾,Flink和SparkSubmit需要以“.jar”或“.py”结尾。sql、jar、py不区分大小写。 执行程序参数 可选参数,程序执行的关键参数。多个参数间使用空格隔开。 配置方法:程序类名 数据输入路径 数据输出路径 程序类名:由用户程序内的函数指定,MRS只负责参数的传入。 数据输入路径:通过
-
ALM-14013 NameNode FsImage文件更新失败 - MapReduce服务 MRS
以root用户登录备NameNode节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行su - omm命令切换到omm用户。 使用如下命令查看备NameNode是否能将文件推送到主NameNode上。 tmpFile=/tmp/tmp_test_$(date +%s)
-
在Linux环境中调测HDFS应用 - MapReduce服务 MRS
设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 未安装客户端时: Linux环境已安装JDK,版本号需要和IDEA导出Jar包使用的JDK版本一致。 当Linux环境所在主机不是集群中的节点时,需要在Linux环境所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
-
在Linux环境中调测HDFS应用 - MapReduce服务 MRS
设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 未安装客户端时: Linux环境已安装JDK,版本号需要和IDEA导出Jar包使用的JDK版本一致。 当Linux环境所在主机不是集群中的节点时,需要在Linux环境所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
-
OMS健康检查指标项说明 - MapReduce服务 MRS
的故障日志信息。 各节点与主管理节点之间SSH互信 指标项名称:各节点与主管理节点之间SSH互信 指标项含义:检查SSH互信是否正常。如果使用omm用户,在主管理节点可以通过SSH登录其他节点且不需要输入密码,则认为健康;否则,不健康。或者主管理节点SSH可以直接登录其他节点,但
-
在Linux环境中调测HDFS应用 - MapReduce服务 MRS
设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 未安装客户端时: Linux环境已安装JDK,版本号需要和IDEA导出Jar包使用的JDK版本一致。 当Linux环境所在主机不是集群中的节点时,需要在Linux环境所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
-
ALM-12033 慢盘故障(2.x及以前版本) - MapReduce服务 MRS
sat+megaraid,2 -t long /dev/sda 是,执行16。 否,执行17。 磁盘不支持smart,通常是因为配置的RAID卡不支持,此时需要使用对应RAID卡厂商的检查工具进行处理,然后执行16。 例如LSI一般是MegaCLI工具。 在告警详情页面单击“清除告警”,并继续观察该告
-
ALM-12033 慢盘故障 - MapReduce服务 MRS
sat+megaraid,2 -t long /dev/sda 是,执行17。 否,执行18。 磁盘不支持smart,通常是因为配置的RAID卡不支持,此时需要使用对应RAID卡厂商的检查工具进行处理,然后执行17。 例如LSI一般是MegaCLI工具。 在FusionInsight Manager界面,选择“运维