检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
客户端工具说明 使用客户端运行Loader作业 loader-tool工具使用指导 loader-tool工具使用示例 schedule-tool工具使用指导 schedule-tool工具使用示例 使用loader-backup工具备份作业数据 开源sqoop-shell工具使用指导
执行以下命令使用客户端工具查看帮助并使用。 ./kafka-console-consumer.sh：Kafka消息读取工具 ./kafka-console-producer.sh：Kafka消息发布工具 ./kafka-topics.sh：Kafka Topic管理工具 如果需要使用kafka-topics
批量导入Loader作业 操作场景 Loader支持批量导入某个配置文件中的所有作业。 本章节适用于MRS 3.x及后续版本。 前提条件 当前用户具备待导入作业所在分组的编辑“Jobs Edit”权限。 如果作业所在的分组不存在，则会自动先创建该分组。当前用户就是该分组的创建者，拥有该分组的编辑“Jobs
批量迁移Loader作业 操作场景 Loader支持将作业批量从一个分组（源分组）迁移到另一个分组（目标分组）。 前提条件 源分组和目标分组均存在。 当前用户具备源分组和目标分组的编辑“Group Edit”权限。 当前用户具备源分组的作业编辑“Jobs Edit”权限或待迁移作业的编辑“Edit”权限。
批量导入Loader作业 操作场景 Loader支持批量导入某个配置文件中的所有作业。 前提条件 当前用户具备待导入作业所在分组的编辑“Jobs Edit”权限。 如果作业所在的分组不存在，则会自动先创建该分组。当前用户就是该分组的创建者，拥有该分组的编辑“Jobs Edit”权限。
批量导出Loader作业 操作场景 Loader支持批量导出已有作业。 前提条件 当前用户具备待导出作业的编辑“Edit”权限或作业所在分组的编辑“Jobs Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight Manager系统，具体请参见访问集群Manager。
和授权tokens，避免认证过期。示例如下： spark-shell --principal spark2x/hadoop.<系统域名>@<系统域名> --keytab ${BIGDATA_HOME}/FusionInsight_Spark2x_8.1.0.1/install/F
和授权tokens，避免认证过期。示例如下： spark-shell --principal spark2x/hadoop.<系统域名>@<系统域名> --keytab ${BIGDATA_HOME}/FusionInsight_Spark2x_8.1.0.1/install/F
=120s HetuEngine支持查询下推（pushdown），它能把查询，或者部分查询，下推到连接的数据源。这意味着特殊的谓词，聚合函数或者其他一些操作，可以被传递到底层数据库或者文件系统进行处理。查询下推能带来以下好处： 提升整体的查询性能。 减少HetuEngine和数据源之间的网络流量。
离线数据可以从数据湖加载，也可以直接加载本地文件。从数据湖加载可以使用工具CDM，在没有CDM工具时，可以直接使用外表加载、BrokerLoad的方式。本地文件加载则使用Doris自带的StreamLoad工具。 图1 离线数据加载 操作流程 步骤1：创建MRS Hive集群并配置
批量迁移Loader作业 操作场景 Loader支持将作业批量从一个分组（源分组）迁移到另一个分组（目标分组）。 本章节适用于MRS 3.x及后续版本。 前提条件 源分组和目标分组均存在。 当前用户具备源分组和目标分组的编辑“Group Edit”权限。 当前用户具备源分组的作业编辑“Jobs
单击“LoaderServer(节点名称，主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 单击“批量删除”，进入作业批量删除界面。 在“批量删除”中选择删除作业类型。 “所有”，表示删除当前所有的作业。 “指定作业”，表示指定需要删除的作业。选择“指定作业”，在作业列表中勾选需要删除的作业。
批量导出Loader作业 操作场景 Loader支持批量导出已有作业。 本章节适用于MRS 3.x及后续版本。 前提条件 当前用户具备待导出作业的编辑“Edit”权限或作业所在分组的编辑“Jobs Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight
单击“LoaderServer(节点名称，主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 单击“批量删除”，进入作业批量删除界面。 在“批量删除”中选择删除作业类型。 “所有”，表示删除当前所有的作业。 “指定作业”，表示指定需要删除的作业。选择“指定作业”，在作业列表中勾选需要删除的作业。
使用Hive异常文件定位定界工具 操作场景 由于某些异常操作或者磁盘损坏等原因导致Hive存储的数据文件出现异常，异常的数据文件会导致任务运行失败或者数据结果不正确。 该工具用于对常见的非文本类的数据文件格式进行异常排查。 该章节内容仅适用MRS 3.2.0及之后版本。 操作步骤
SparkStreaming批量写入HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用streamBulkPut接口将流数据写入Hbase表中。 数据规划 在客户端执行hbase shell进入HBase命令行。 在HB
SparkStreaming批量写入HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用streamBulkPut接口将流数据写入HBase表中。 数据规划 在客户端执行hbase shell进入HBase命令行。 在hb
SparkStreaming批量写入HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用streamBulkPut接口将流数据写入HBase表中。 数据规划 在客户端执行hbase shell进入HBase命令行。 在hb
CarbonData查询流程 当CarbonData首次收到对某个表（例如表A）的查询任务时，系统会加载表A的索引数据到内存中，执行查询流程。当CarbonData再次收到对表A的查询任务时，系统则不需要再加载其索引数据。 在CarbonData中执行查询时，查询任务会被分成几个扫描任务。即
式SQL查询。除了使用相同的统一存储平台之外，Impala还使用与Apache Hive相同的元数据，SQL语法（Hive SQL），ODBC驱动程序和用户界面（Hue中的Impala查询UI）。这为实时或面向批处理的查询提供了一个熟悉且统一的平台。作为查询大数据的工具的补充，I
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
