检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
假定用户有某个网站周末网民网购停留时间的日志文本,另有一张网民个人信息的csv格式表,可通过Flink应用程序实现例如实时统计总计网购时间超过2个小时的女性网民信息,包含对应的个人详细信息的功能。
假定用户有某个网站周末网民网购停留时间的日志文本,另有一张网民个人信息的csv格式表,可通过Flink应用程序实现例如实时统计总计网购时间超过2个小时的女性网民信息,包含对应的个人详细信息的功能。
开发指南 获取MRS二次开发样例工程 通过Flink分析网页停留时间 通过HBase管理企业用户信息 HDFS文件操作 Hive数据分析应用 Impala应用开发 Kafka消息发布及订阅 Kudu应用开发 MapReduce应用开发 Oozie离线分析网站日志 通过Spark分析网页停留时间
假定用户有某个网站周末网民网购停留时间的日志文本,另有一张网民个人信息的csv格式表,可通过Flink应用程序实现例如实时统计总计网购时间超过2个小时的女性网民信息,包含对应的个人详细信息的功能。
假定用户有某个网站周末网民网购停留时间的日志文本,另有一张网民个人信息的csv格式表,可通过Flink应用程序实现例如实时统计总计网购时间超过2个小时的女性网民信息,包含对应的个人详细信息的功能。
本示例演示了如何通过Java API提交MapReduce作业和查询作业状态,对网站的日志文件进行离线分析。 OozieSparkHBaseExample 使用Oozie调度Spark访问HBase的示例程序。
通过Yarn WebUI查看队列信息时提示“ERROR 500”错误 问题背景与现象 在Yarn使用Capacity调度器时,单击Yarn WebUI页面的队列名称时,系统上报“ERROR 500”的错误。 HTTP ERROR 500 javax.servlet.ServletException
运行Manager应用报错“illegal character in path at index” 问题 运行应用程序时,操作失败,日志显示如图1所示。 图1 操作失败日志 回答 可能的原因是URL中带空格导致服务器端无法正确识别URL。 需要去掉URL中的空格。 父主题: Manager
本示例演示了如何通过Java API提交MapReduce作业和查询作业状态,对网站的日志文件进行离线分析。 OozieSparkHBaseExample 使用Oozie调度Spark访问HBase的示例程序。
访问FusionInsight Manager(MRS 3.x及之后版本) 操作场景 MRS 3.x及之后版本的集群使用FusionInsight Manager对集群进行监控、配置和管理。用户在集群安装后可使用账号登录FusionInsight Manager。 当前支持以下几种方式访问
假定用户有某个网站周末网民网购停留时间的日志文本,基于某些业务要求,要求开发Flink的DataStream应用程序实现实时统计总计网购时间超过2个小时的女性网民信息。 源数据内容如下,日志文件第一列为姓名,第二列为性别,第三列为本次停留时间,单位为分钟,分隔符为“,”。
如何修改现有集群的HDFS fs.defaultFS? 问: 如何修改现有集群的HDFS NameSpace(fs.defaultFS)? 答: 当前不建议在服务端修改或者新增集群内HDFS NameSpace(fs.defaultFS),如果只是为了客户端更好的识别,则一般可以通过修改客户端内
SparkSQL建表参数规范 规则 建表必须指定primaryKey和preCombineField。 Hudi表提供了数据更新的能力和幂等写入的能力,该能力要求数据记录必须设置主键用来识别重复数据和更新操作。不指定主键会导致表丢失数据更新能力,不指定preCombineField
配置Region Transition恢复线程 操作场景 在故障环境中,由于诸如region服务器响应慢,网络不稳定,ZooKeeper节点版本不匹配等各种原因,有可能导致region长时间处于transition下。在region transition下,由于一些region不能对外提供服务
配置Region Transition恢复线程 操作场景 在故障环境中,由于诸如Region服务器响应慢,网络不稳定,ZooKeeper节点版本不匹配等各种原因,有可能导致Region长时间处于Transition下。当Region处于Transition下,由于一些Region不能对外提供服务
JDBCServer连接失败 问题现象 提示ha-cluster不识别(unknowHost或者必须加上端口)。 提示连接JDBCServer失败。 原因分析 问题1:使用spark-beeline命令连接JDBCServer,因为MRS_3.0以前的JDBCServer是HA模式
执行select语句时报错“Execution Error return code 2” 问题现象 执行语句select count(*) from XXX;时客户端报错: Error:Error while processing statement :FAILED:Execution
集群运维 告警管理 MRS可以实时监控大数据集群,通过告警和事件可以识别系统健康状态。同时MRS也支持用户自定义配置监控与告警阈值用于关注各指标的健康情况,当监控数据达到告警阈值,系统将会触发一条告警信息。 MRS还可以与华为云消息通知服务(SMN)的消息服务系统对接,将告警信息通过短信或者邮件等形式推送给用户
使用辅助Zookeeper或者副本数据同步表数据时,日志报错 问题 使用辅助Zookeeper或者副本数据同步表数据时,日志报错: DB::Exception: Cannot parse input: expected 'quorum:' before: 'merge_type:
使用活动缓存提升HDFS客户端连接性能 操作场景 HDFS部署在具有多个NameNode实例的HA(High Availability)模式中,HDFS客户端需要依次连接到每个NameNode,以确定当前活动的NameNode是什么,并将其用于客户端操作。 一旦识别出来,当前活动的