检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
loader-tool工具使用示例 操作场景 loader-tool工具支持通过作业模板或参数选项的方式，对连接器或者作业进行创建、更新、查询、删除等操作。 本文将以“从SFTP服务器导入数据到HDFS”的作业为例，通过引用作业模板的方式，介绍loader-tool工具的使用方法。 本章节适用于MRS
Kafka Java API接口介绍可直接参考开源社区。 详情请参见http://kafka.apache.org/documentation.html#api。 父主题： Kafka接口介绍
时，HDFS就作为Flume的最终数据存储系统，Flume将传输的数据全部按照配置写入HDFS中。 具体操作场景请参见典型场景：从本地采集静态日志保存到HDFS和典型场景：从本地采集动态日志保存到HDFS。 Flume与HBase的关系 当用户配置HBase作为Flume的Sin
的参数表格添加相应配置信息。单击“导入”。 选择导入的类型。 导出的文件 通过算子导出的json文件导入字段的配置信息。 指导的模板 通过根据算子模板手动编写txt文件，将字段配置信息导入到算子中。 单击，选择上传文件对应路径。 单击“上传”，字段的配置信息将会导入到算子。 导出操作
的参数表格添加相应配置信息。单击“导入”。 选择导入的类型。 导出的文件 通过算子导出的json文件导入字段的配置信息。 指导的模板 通过根据算子模板手动编写txt文件，将字段配置信息导入到算子中。 单击，选择上传文件对应路径。 单击“上传”，字段的配置信息将会导入到算子。 导出操作
OozieClient提供。 详情请参见http://oozie.apache.org/docs/5.1.0/WebServicesAPI.html。 父主题： 常用Oozie API接口介绍
Spark命令详细的使用方法参考官方网站的描述：http://spark.apache.org/docs/latest/quick-start.html。 常用命令 Shell命令执行方法： 进入Spark客户端目录。 初始化环境变量。 source /opt/client/bigdata_env
OozieClient提供。 详情请参见http://oozie.apache.org/docs/5.1.0/WebServicesAPI.html。 父主题： 常用Oozie API接口介绍
HA部署架构等优势能力，具体详情如下： 手动挡集群模式升级 如图1所示，多个ClickHouse节点组成的集群，没有中心节点，更多的是一个静态资源池的概念，业务要使用ClickHouse集群模式，需要预先在各个节点的配置文件中定义cluster信息，等所有参与的节点达成共识，业务
OozieClient提供。 详情请参见http://oozie.apache.org/docs/5.1.0/WebServicesAPI.html。 父主题： 常用Oozie API接口介绍
OozieClient提供。 详情请参见http://oozie.apache.org/docs/5.1.0/WebServicesAPI.html。 父主题： 常用Oozie API接口介绍
API。 Presto JDBC使用参见https://prestodb.io/docs/current/installation/jdbc.html。 父主题： Presto应用开发常见问题
本章节介绍Hudi重要配置的详细信息，更多配置请参考Hudi官网http://hudi.apache.org/cn/docs/configurations.html。 写入操作配置 表1 写入操作重要配置项 参数 描述 默认值 hoodie.datasource.write.table.name 指定写入的Hudi表名。
ume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接收方（可定制）的能力。其中Flume-NG是Flume的一个分支，其特点是明显简单，体积更小，更容易部署，其最基本的架构如下图所示： 图1 Flume-NG架构 Flu
HBase采用的接口与Apache HBase保持一致，请参见http://hbase.apache.org/apidocs/index.html。 新增或修改的接口 HBase 0.98.3建议使用org.apache.hadoop.hbase.Cell作为Key-value数据对象，而不是HBase
io/os/javadoc/2.0/index.html。 HTTP REST API Master REST API：https://docs.alluxio.io/os/restdoc/2.0/master/index.html Worker REST API：https://docs
Hue主要包括了文件浏览器和查询编辑器的功能： 文件浏览器能够允许用户直接通过界面浏览以及操作HDFS的不同目录； 查询编辑器能够编写简单的SQL，查询存储在Hadoop之上的数据。例如HDFS，HBase，Hive。 用户可以方便地创建、管理、执行SQL，并且能够以Excel的形式下载执行的结果。
foreach(println) sc.stop() } } 上面是简单示例，其它sparkSQL特性请参见如下链接：http://spark.apache.org/docs/latest/sql-programming-guide.html#running-sql-queries-programmatically
println(result); jsc.stop(); 上面是简单示例，其它sparkSQL特性请参见如下链接：http://spark.apache.org/docs/latest/sql-programming-guide.html#running-sql-queries-programmatically。
MRS包含了多种大数据组件，用户可基于企业大数据场景的业务场景、数据类型、可靠性要求以及资源预算等要求合理选择集群类型。 用户可以基于系统预置的集群模板快速购买一个集群，也可自行选择组件列表及高级配置特性，自定义购买集群。 表1 MRS集群类型 集群类型 场景介绍 核心组件 Hadoop分析集群
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
