-
查看集群状态 - MapReduce服务 MRS
目前MRS商用收费基本要素为集群中的弹性云服务器。 包年/包月:根据集群购买时长,一次性支付集群费用。最短时长为1个月,最长时长为1年。 按需计费:节点按实际使用时长计费,计费周期为一小时。 计费类型下方显示购买的集群启动成功的时间,即计费开始时间。 创建时间 集群节点创建成功时间。仅“历史集群”会显示此参数。
-
Kafka基本原理 - MapReduce服务 MRS
Consumer/消费者 向Topic订阅,并且接收发布到这些Topic的消息。 各模块间关系如图2所示。 图2 Kafka模块间关系 消费者使用一个消费者组名称来标记自己,主题的每个消息被传递给每个订阅消费者组中的一个消费者。如果所有的消费者实例都属于同样的消费组,它们就以传统队列
-
Flink应用开发简介 - MapReduce服务 MRS
ob作为订阅者,分别订阅一份数据并打印输出。 FlinkPipelineScalaExample FlinkSqlJavaExample 使用客户端通过jar作业提交SQL作业的应用开发示例。 FlinkStreamJavaExample DataStream程序的应用开发示例。
-
插入HBase数据 - MapReduce服务 MRS
注意事项 不允许多个线程在同一时间共用同一个HTable实例。HTable是一个非线程安全类,因此,同一个HTable实例,不应该被多个线程同时使用,否则可能会带来并发问题。 父主题: 开发HBase应用
-
编译并运行MapReduce应用 - MapReduce服务 MRS
/opt/client/Hive/Beeline/lib/derby-10.10.2.0.jar derby-10.10.2.0.jar.bak命令。 命令中使用的jar包请根据集群中对应路径下的实际版本修改。 提交MapReduce任务,执行如下命令,运行样例工程。运行样例工程前需要根据实际环境修改认证信息。
-
Flink异步Checkpoint Scala样例代码 - MapReduce服务 MRS
total = udfState.getState } } 应用代码 该段代码是流图定义代码,具体实现业务流程,另外,代码中窗口的触发时间使用了event time。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
-
Flink开启Checkpoint样例程序(Scala) - MapReduce服务 MRS
total = udfState.getState } } 应用代码 该段代码是流图定义代码,具体实现业务流程,另外,代码中窗口的触发时间使用了event time。 下面代码片段仅为演示,完整代码参见FlinkCheckpointScalaExample样例工程下的com.huawei
-
Spark Structured Streaming对接Kafka样例程序开发思路 - MapReduce服务 MRS
至请求事件时间+5m },为每条展示事件随机生成0-5条点击事件,点击事件的时间取值范围为{展示事件时间 至展示事件时间+5m } 开发思路 使用Structured Streaming接收Kafka中数据,生成请求流、展示流、点击流。 对请求流、展示流、点击流的数据进行关联查询。 统计结果写入kafka。
-
MRS 1.9.3.9及之后版本补丁说明 - MapReduce服务 MRS
pattern配置项设置单副本的数据文件和目录。 MRS 1.9.3.9及其后续补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即用户自行搭建的客户端)。如果集群之前安装了1.9.3.8补丁,不需要做此操作。 主Master节点的原始客户端全量更新,请参见
-
Spark Structured Streaming对接Kafka样例程序开发思路 - MapReduce服务 MRS
至请求事件时间+5m },为每条展示事件随机生成0-5条点击事件,点击事件的时间取值范围为{展示事件时间 至展示事件时间+5m } 开发思路 使用Structured Streaming接收Kafka中数据,生成请求流、展示流、点击流。 对请求流、展示流、点击流的数据进行关联查询。 统计结果写入kafka。
-
ALM-16004 Hive服务不可用 - MapReduce服务 MRS
是,处理完毕。 否,执行29。 检查本地磁盘空间是否正常。 执行df -h命令检查根目录,查看“/srv”、“/var”和“/opt”目录挂载的磁盘使用是否超过95%。 是,执行30。 否,执行31。 清理对应目录下无用信息,保证可用磁盘空间大于80%,等待几分钟查看“Hive服务不可用”告警是否清除。
-
在本地Windows环境中调测ClickHouse应用(MRS 3.3.0及之后版本) - MapReduce服务 MRS
事务样例工程无需执行此步骤。 图2 复制配置文件绝对路径 使用clickhouse-example.properties路径替换Demo.java中getProperties()方法中proPath的路径。 图3 Demo.java路径替换 使用clickhouse-example.prop
-
Flink应用开发简介 - MapReduce服务 MRS
用户名字作为关键字,对两个业务数据进行联合查询的功能。 FlinkStreamSqlJoinScalaExample flink-sql 使用客户端通过jar作业提交SQL作业的应用开发示例。 相关业务场景介绍请参见Flink Jar作业提交SQL样例程序。 pyflink-example
-
准备连接IoTDB集群配置文件 - MapReduce服务 MRS
添加用户”,在新增用户界面,创建一个机机用户,例如developuser。 “用户组”需加入“iotdbgroup”用户组。 “角色”加入2新增的角色。 使用admin用户登录FusionInsight Manager,选择“系统 > 权限 > 用户”,在用户名为developuser的操作列选择“更多
-
在Linux环境中调测HBase应用 - MapReduce服务 MRS
机名和IP地址请保持一一对应。 未安装HBase客户端时: Linux环境已安装JDK,版本号需要和IntelliJ IDEA导出Jar包使用的JDK版本一致。 当Linux环境所在主机不是集群中的节点时,需要在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
-
Hive应用开发简介 - MapReduce服务 MRS
macro_name 具有admin权限。 以上所有的操作只要拥有Hive的admin权限以及对应的HDFS目录权限就能做相应的操作。 如果当前组件使用了Ranger进行权限控制,需基于Ranger配置相关策略进行权限管理,具体操作可参考添加Hive的Ranger访问权限策略章节。 父主题:
-
在Linux环境中调测HBase应用 - MapReduce服务 MRS
机名和IP地址请保持一一对应。 未安装HBase客户端时: Linux环境已安装JDK,版本号需要和IntelliJ IDEA导出Jar包使用的JDK版本一致。 当Linux环境所在主机不是集群中的节点时,需要在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
-
快速开发Hive JDBC应用 - MapReduce服务 MRS
ud-mrs-example/tree/mrs-3.1.5/src/hive-examples/hive-jdbc-example。 本地使用IDEA工具导入样例工程,等待Maven工程下载相关依赖包,具体操作可参考配置并导入样例工程。 图1 Hive样例工程示例 本地配置好Ma
-
ALM-12006 节点故障 - MapReduce服务 MRS
/start-agent.sh 等待一段时间观察告警是否自动清除。 是,处理完毕。 否,执行17。 检查是否NodeAgent进程故障。 使用omm用户登录故障节点,执行如下命令。 ps -ef | grep "Dprocess.name=nodeagent" | grep -v
-
Hive对接外置自建关系型数据库 - MapReduce服务 MRS
据库。 安装开源MySQL或Postgres数据库。 数据库安装节点需与集群处于同一网段,能互相访问。 上传驱动包。 Postgres: 使用开源驱动包替换集群已有的驱动包。将Postgres驱动包“postgresql-42.2.5.jar”上传至所有MetaStore实例节点