检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
由于Kafka配置的限制,导致Spark Streaming应用运行失败 问题 使用运行的Spark Streaming任务回写Kafka时,Kafka上接收不到回写的数据,且Kafka日志报错信息如下: 2016-03-02 17:46:19,017 | INFO | [kaf
HetuEngine结构图 表1 各模块说明 模块名称 常见概念名称 描述 云服务层 HetuEngine CLI/JDBC HetuEngine的客户端,使用者通过客户端向服务端提交查询请求,然后将执行结果取回并展示。 HSBroker HetuEngine的服务管理,用作计算实例的资源管理校验,健康监控与自动维护等。
主机名 产生告警的主机名。 对系统的影响 Flume证书文件已过期,功能受限,Flume客户端将无法访问Flume服务端。 可能原因 Flume证书文件已过期。 处理步骤 查看告警信息。 登录FusionInsight Manager首页,选择“运维 > 告警 > 告警 > ALM-24012
Manager的告警列表中,查看1中的告警实例是否有“RegionServer handler 使用率超过阈值”告警产生。 是,执行12。 否,执行14。 参考“ALM-19021 RegionServer handler 使用率超过阈值”的处理步骤处理该故障。 等待几分钟后,在告警列表中查看该告警是否清除。
Compaction请求数量过多。 处理步骤 在TaskManager日志检查是否Pending Compaction请求数量过多并收集日志 使用具有FlinkServer管理操作权限的用户登录FusionInsight Manager。 选择“运维 > 告警 > 告警 > ALM-45646 RocksDB的Pending
Flush请求数量过多。 处理步骤 在TaskManager日志检查是否Pending Flush请求数量过多并收集日志 使用具有FlinkServer管理操作权限的用户登录FusionInsight Manager。 选择“运维 > 告警 > 告警 > ALM-45645 RocksDB的Pending
Hive应用开发常用概念 keytab文件 存放用户信息的密钥文件。应用程序采用此密钥文件在MRS产品中进行API方式认证。 客户端 客户端直接面向用户,可通过Java API、Thrift API访问服务端进行Hive的相关操作。 HQL语言 Hive Query Language,类SQL语句。
已安装Storm客户端。 已执行打包Strom样例工程应用。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 将从IntelliJ IDEA中导出的jar包复制到Linux客户端指定目录(例如“/opt/jarsource”)。
进入Ranger WebUI登录界面,MRS 1.9.2版本集群默认用户名/密码为admin/admin@12345,MRS 1.9.3及之后版本集群默认用户名/密码为admin/ranger@A1!。 首次登录Ranger WebUI界面后请修改用户密码并妥善保存。 分别登录集群Ranger
由于Kafka配置的限制,导致Spark Streaming应用运行失败 问题 使用运行的Spark Streaming任务回写Kafka时,Kafka上接收不到回写的数据,且Kafka日志报错信息如下: 2016-03-02 17:46:19,017 | INFO | [kaf
将快照的元数据(meta-data)写入到一个额外的持久化文件系统中。 如果需要使用savepoints的功能,强烈推荐用户为每个算子通过uid(String)分配一个固定的ID,以便将来升级恢复使用,示例代码如下: DataStream<String> stream = env
Flink向Kafka生产并消费数据Java样例代码 功能简介 在Flink应用中,调用flink-connector-kafka模块的接口,生产并消费数据。 用户在开发前需要使用对接安全模式的Kafka,则需要引入MRS的kafka-client-xx.x.x.jar,该jar包可在MRS client目录下获取。
Flink向Kafka生产并消费数据Scala样例代码 功能简介 在Flink应用中,调用flink-connector-kafka模块的接口,生产并消费数据。 用户在开发前需要使用对接安全模式的Kafka,则需要引入MRS的kafka-client-xx.x.x.jar,该jar包可在MRS client目录下获取。
pala不支持该类UDF。 按使用方法,UDF有如下分类: 临时函数,只能在当前会话使用,重启会话后需要重新创建。 永久函数,可以在多个会话中使用,不需要每次创建。 Impala支持开发Java UDF,也可以复用Hive开发的UDFs,前提是使用Impala支持的数据类型。Im
pala不支持该类UDF。 按使用方法,UDF有如下分类: 临时函数,只能在当前会话使用,重启会话后需要重新创建。 永久函数,可以在多个会话中使用,不需要每次创建。 Impala支持开发Java UDF,也可以复用Hive开发的UDFs,前提是使用Impala支持的数据类型。Im
名字作为关键字,对两个业务数据进行联合查询的功能。 FlinkStreamSqlJoinScalaExample flink-sql 使用客户端通过jar作业提交SQL作业的应用开发示例。 相关业务场景介绍请参见Flink Jar作业提交SQL样例程序。 pyflink-example
提交MapReduce任务时客户端长时间无响应 问题 向YARN服务器提交MapReduce任务后,客户端长时间无响应。 回答 对于上述出现的问题,ResourceManager在其WebUI上提供了MapReduce作业关键步骤的诊断信息,对于一个已经提交到YARN上的MapR
用户HA证书文件已经失效,会导致主备模式下FlinkServer将无法正常对外提供服务,FlinkServer提交Flink作业功能无法正常使用。 可能原因 用户HA证书文件失效。 处理步骤 查看告警信息。 登录FusionInsight Manager首页,选择“运维 > 告警 > 告警 > ALM-45653 Flink
read_write_kafka() 表1 使用Python提交普通作业参数说明 参数 说明 示例 bootstrap.servers Kafka的Broker实例业务IP和端口。 192.168.12.25:21005 specific_jars “客户端安装目录/Flink/flink/
MRS 1.8.10及之前版本,登录MRS Manager页面,具体请参见访问MRS Manager,然后选择“服务管理 > HDFS > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 MRS 1.8.10之后及2.x版本,单击集群名称,登录集群详情页面,选择“组件管理 >