检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建Impala表 功能简介 本小节介绍了如何使用Impala SQL建内部表、外部表的基本操作。创建表主要有以下三种方式。 自定义表结构，以关键字EXTERNAL区分创建内部表和外部表。 内部表，如果对数据的处理都由Impala完成，则应该使用内部表。在删除内部表时，元数据和数据一起被删除。
Storm-HDFS开发指引 操作场景 本章节只适用于Storm和HDFS交互的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认Storm和HDFS组件已经安装，并正常运行。 将storm-examples导入到IntelliJ IDEA开发环境，请参见准备Storm应用开发环境。
创建Impala表 功能简介 本小节介绍了如何使用Impala SQL建内部表、外部表的基本操作。创建表主要有以下三种方式。 自定义表结构，以关键字EXTERNAL区分创建内部表和外部表。 内部表，如果对数据的处理都由Impala完成，则应该使用内部表。在删除内部表时，元数据和数据一起被删除。
FlinkIoTDBSource样例程序 功能简介 IoTDB与Flink的集成。此模块包含了iotdb source，通过flink job将时序数据从IoTDB读取出来并且打印。 代码样例 该示例演示了Flink job如何从IoTDB server读取时序数据的场景： Fl
Streaming任务打印两次相同DAG日志 问题 在使用Spark Streaming时，使用以下命令运行程序： spark-submit -master yarn-client --conf spark.logLineage=true --jars $SPARK_HOME/j
基于Kafka的Word Count数据流统计案例 应用场景 Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性，主要用于处理活跃的流式数据。 Kafka有很多适用的场景：消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。
配置HDFS冷热数据迁移 配置场景 冷热数据迁移工具根据配置的策略移动HDFS文件。配置策略是条件或非条件规则的集合。如果规则匹配文件集，则该工具将对该文件执行一组行为操作。 冷热数据迁移工具支持以下规则和行为。 迁移规则： 根据文件的最后访问时间迁移数据 根据年龄时间迁移数据（修改时间）
配置HDFS冷热数据迁移 配置场景 冷热数据迁移工具根据配置的策略移动HDFS文件。配置策略是条件或非条件规则的集合。如果规则匹配文件集，则该工具将对该文件执行一组行为操作。 冷热数据迁移工具支持以下规则和行为。 迁移规则： 根据文件的最后访问时间迁移数据 根据年龄时间迁移数据（修改时间）
创建集群并提交作业 功能介绍 创建一个MRS集群并提交作业，并支持作业完成后删除集群，支持MRS 1.8.9及以上集群版本使用。使用接口前，您需要先获取下的资源信息。 通过VPC创建或查询VPC、子网。 通过ECS创建或查询密钥对。 通过终端节点获取区域信息。 参考MRS服务支持
Streaming任务打印两次相同DAG日志 问题 在使用Spark Streaming时，使用以下命令运行程序： spark-submit -master yarn-client --conf spark.logLineage=true --jars $SPARK_HOME/j
配置Sqoop通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成Sqoop客户端对接OBS文件系统的配置后，可在Sqoop客户端导入关系型数据库的表到OBS中，或导出OBS中的表到关系型数据库中。 前提条件 需在MySQL官网https://downloads
使用Oozie调度Spark2x访问HBase以及Hive 前提条件 已经配置完成导入并配置Oozie样例工程的前提条件。 开发环境配置 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\oozie-examples”目录下的样例工程文件夹“oozienormal-
使用Oozie调度Spark访问HBase以及Hive 前提条件 已经配置完成导入并配置Oozie样例工程的前提条件 开发环境配置 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\oozie-examples\oozienormal-examples”目录下的样例
IoTDB应用开发简介 IoTDB介绍 IoTDB是针对时间序列数据收集、存储与分析一体化的数据管理引擎。它具有体量轻、性能高、易使用的特点，支持对接Hadoop与Spark生态，适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求。 本文档内容仅适用于MRS 3.2
OpenTSDB样例程序开发思路 通过典型场景，您可以快速学习和掌握OpenTSDB的开发过程，并且对关键的接口函数有所了解。 场景说明 假定用户开发一个应用程序，用于记录和查询城市的气象信息，记录数据如下表表1，表2和表3所示。 表1 原始数据 城市 区域 时间 温度 湿度 Shenzhen
创建Hive表 功能介绍 本小节介绍了如何使用HQL创建内部表、外部表的基本操作。创建表主要有以下三种方式。 自定义表结构，以关键字EXTERNAL区分创建内部表和外部表。 内部表，如果对数据的处理都由Hive完成，则应该使用内部表。在删除内部表时，元数据和数据一起被删除。 外部
查询对应版本元数据 功能介绍 查询对应版本元数据。如果参数里指定集群id，则可查询集群更新过补丁之后的最新元数据。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/metadata/versions/{version_name} 表1 路径参数
使用Spark2x实现车联网车主驾驶行为分析 应用场景 本实践基于华为云MapReduce服务所编写，用于指导您了解MRS的基本功能，利用MRS服务的Spark2x组件，对车主的驾驶行为进行分析统计，得到用户驾驶行为的分析结果。 原始数据为车主的驾驶行为信息，包括车主在日常的驾驶
Sqoop客户端使用实践 Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(MySQL、PostgreSQL...)间进行数据的传递，可以将一个关系型数据库（例如：MySQL、Oracle、PostgreSQL等）中的数据导进到Hadoop的HDFS中
Flink对接应用运维管理（AOM） 本章节适用于MRS 3.5.0及之后的版本。 Flink对接AOM服务场景介绍 应用运维管理（AOM）服务是一个可观测平台，基于指标、链路、日志、事件全景数据监控，提供一体化监控能力。Flink可以通过AOM服务的Prometheus实例将监
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
