检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS集群所在VPC部署了VPCEP后集群补丁安装失败 问题现象 通过MRS管理控制台为MRS集群在线安装补丁,补丁安装失败,报错日志信息中提示访问OBS 403无权限。 原因分析 用户集群所在VPC中,部署并配置了VPC终端节点(VPCEP)。相关的终端节点策略中,未允许MRS
息发布-订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据)、日志收集等大量数据的互联网服务的数据收集场景。 Kafka结构
MRS作业类型介绍 MRS作业分类 MRS作业是MRS为用户提供的程序执行平台,用于处理和分析用户数据。用户可以在MRS管理控制台中在线创建作业任务,也可以通过集群客户端后台方式提交作业。 MRS作业处理的数据通常来源于OBS或HDFS,用户创建作业前需要将待分析数据上传至OBS
SQL语句和SQL脚本文件查询和分析数据,包括SQL语句和Script脚本两种形式,如果SQL语句中涉及敏感信息,也可使用脚本文件方式提交。 用户可以在MRS管理控制台在线创建一个作业并提交运行,也可以通过MRS集群客户端来以命令行形式提交作业。 前提条件 用户已经将作业所需的程序包和数据文件上传至OBS或HDFS文件系统中。
责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理,可以可靠地处理无限的数据流。 Storm有很多适用的场景:实时分析、在线机器学习、持续计算和分布式ETL等,易扩展、支持容错,可确保数据得到处理,易于构建和操控。 Storm有如下几个特点: 适用场景广泛 易扩展,可伸缩性高
MapReduce服务 MRS MRS集群健康检查 03:25 MRS集群健康检查 MapReduce服务 MRS 在线检索和下载MRS集群日志 03:48 在线检索和下载MRS集群日志 MapReduce服务 MRS 创建MRS集群用户 05:19 创建MRS集群用户 组件知识培训
数目。 支持日志在线检索和日志收集。 支持在线检索ClickHouse日志内容。 登录FusionInsight Manager界面,访问“运维 > 日志 > 在线检索”,在“服务”中选择“ClickHouse”,“检索内容”填写日志检索关键字,通过“检索”在线检索ClickHouse日志内容。
调测OpenTSDB应用 操作场景 在程序代码完成开发后,您可以在Windows开发环境中运行应用。 操作步骤 在Windows上配置集群的IP与主机名映射关系。登录集群后台,执行命令cat /etc/hosts后,把hosts文件中的IP与主机名映射关系拷贝到“C:\Windo
调测OpenTSDB应用 OpenTSDB应用程序支持在安装OpenTSDB客户端的Linux环境中运行。在程序代码完成开发后,您可以上传Jar包至Linux环境中运行应用。 前提条件 Linux环境已安装JDK,版本号需要和Eclipse导出Jar包使用的JDK版本一致。 当客
查看HBase应用调测结果 HBase应用程序运行完成后,可直接通过运行结果查看应用程序运行情况。 也可以通过HBase日志获取应用运行情况。 运行结果会有如下成功信息: 2018-01-17 19:44:28,068 INFO [main] examples.HBaseExample:
查看OpenTSDB应用调测结果 操作场景 OpenTSDB样例程序运行完后,可直接通过运行结果查看应用程序运行情况,也可以通过运行日志获取应用运行情况。 操作步骤 运行结果会有如下成功信息: 2019-06-27 14:05:20,713 INFO [main] examples
查看OpenTSDB应用调测结果 操作场景 OpenTSDB样例程序运行完后,可直接通过运行结果查看应用程序运行情况,也可以通过运行日志获取应用运行情况。 操作步骤 运行结果会有如下成功信息: 2019-06-27 14:05:20,713 INFO [main] examples
调测Flink应用 编译并调测Flink应用 查看Flink应用调测结果 父主题: Flink开发指南(安全模式)
调测Kafka应用 前提条件 客户端本地能登录MRS服务的弹性云服务器,登录方式详见“弹性云服务器《用户指南》”中“入门 > 登录弹性云服务器”的SSH登录方式。 样例工程在已经通过Maven编译。 示例:Maven工程打包到Linux下运行样例 执行mvn package生成j
调测Strom应用 打包Strom样例工程应用 打包Strom应用业务 提交Storm拓扑 查看Storm应用调测结果 父主题: Storm开发指南(普通模式)
调测Impala应用 在Windows中调测Impala JDBC应用 在Linux中调测Impala JDBC应用 父主题: Impala开发指南(安全模式)
调测Oozie应用 在本地Windows环境中调测Oozie应用 查看Oozie应用调测结果 父主题: Oozie开发指南(安全模式)
调测Spark应用 在本地Windows环境中调测Spark应用 在Linux环境中调测Spark应用 父主题: Spark2x开发指南(安全模式)
调测HDFS应用 在本地Windows中调测HDFS程序 在Linux环境中调测HDFS应用 父主题: HDFS开发指南(普通模式)
调测Flink应用 编译并调测Flink应用 查看Flink应用调测结果 父主题: Flink开发指南(普通模式)