检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark常用的CLI如下所示： spark-shell 提供了一个简单学习API的方法，类似于交互式数据分析的工具。同时支持Scala和Python两种语言。在Spark目录下，执行./bin/spark-shell即可进入Scala交互式界面从HDFS中获取数据，再操作RDD。 示例：一行代码可以实现统计一个文件中所有单词。
Spark常用的CLI如下所示： spark-shell 提供了一个简单学习API的方法，类似于交互式数据分析的工具。同时支持Scala和Python两种语言。在Spark目录下，执行./bin/spark-shell即可进入Scala交互式界面从HDFS中获取数据，再操作RDD。 示例：一行代码可以实现统计一个文件中所有单词。
查询Impala数据 功能简介 本小节介绍了如何使用Impala SQL对数据进行查询分析。从本节中可以掌握如下查询分析方法。 SELECT查询的常用特性，如JOIN等。 加载数据进指定分区。 如何使用Impala自带函数。 如何使用自定义函数进行查询分析，如何创建、定义自定义函数请见Impala样例程序指导。
非HDFS数据残留导致数据分布不均衡 问题背景与现象 数据出现不均衡，某磁盘过满而其他磁盘未写满。 HDFS DataNode数据存储目录配置为“/export/data1/dfs--/export/data12/dfs”，看到的现象是大量数据都是存储到了“/export/data1/dfs”，其他盘的数据比较均衡。
USING： 源表查询语句。 ON：源表和目标表匹配的条件。 WHEN： 数据更新条件。 insert into ... select ...;语法中不支持可空字段类型的数据插入到非空字段类型。 使用示例 向表中插入数据： INSERT INTO prod.db.table VALUES
HBase数据操作 创建HBase索引进行数据查询 配置HBase数据压缩格式和编码 父主题： 使用HBase
HBASE_BULKLOAD 数据量大 HBase实例 在HBase作业中，Loader支持从集群可添加的所有HBase服务实例中选择任意一个。如果选定的HBase服务实例在集群中未添加，则此作业无法正常运行。 HBase 导入前清理数据 导入前清空原表的数据。“True”为执行清空，
Manager创建恢复HBase任务并恢复数据。只支持创建任务手动恢复数据。 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的HBase数据。 对系统的影响 恢复过程的数据还原阶段，系
Doris数据导入 使用Broker Load方式导入数据至Doris 使用Broker Load方式导入OBS数据至Doris 使用Stream Load方式导入数据至Doris 父主题： 使用Doris
当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的Doris数据。 对系统的影响 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 前提条件 如果需要从远端HDFS恢复数据，需满足以下条件： 需准备一个用于恢复数据的备集群，且该集群已完成数据备份，详细操
ka任务恢复CDL数据。只支持创建任务手动恢复数据。 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的DBService与Kafka数据。 MRS集群中默
HBase数据操作 创建HBase索引进行数据查询 配置HBase数据压缩格式和编码 父主题： 使用HBase
手动恢复数据。 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复Flink元数据，建议手动备份最新Flink元数据后，再执行恢复Flink元数据操作。否则会丢失从备份时刻到恢复时刻之间的Flink元数据。 Flink元数据恢复和业务数据恢复不能
支持两种方式选择备份数据： 添加备份数据文件 单击导航中某个数据库的名称，将展开显示此数据库中的所有表，勾选指定的表。 MRS 3.2.0及之后版本： 单击“添加”。 在“文件目录”框内选择要备份的表，单击“添加”添加到“备份文件”框内。 单击“确定”添加备份数据文件。 正则表达式筛选
径”参数，值为保存备份数据的OBS目录。 在“最大恢复点个数”填写备份任务在本集群中备份可保留的快照数量。 在“备份内容”中，选择一个或多个需要备份的Doris表。 支持两种方式选择备份数据： 添加备份数据文件 单击导航中某个数据库的名称，将展开显示此数据库中的所有表，勾选指定的表。
删除OpenTSDB数据 功能简介 在OpenTSDB的查询接口中增加delete参数，并且设置delete参数为true。 函数genQueryReq()生成删除请求，函数deleteData()把删除请求发送到OpenTSDB服务端。 样例代码 以下代码片段在com.huawei
备份Flink元数据 操作场景 为了确保Flink集群中的元数据安全，或者系统管理员需要对Flink进行重大操作（如升级或迁移等）时，需要对Flink集群的元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight
本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的Hive数据。 对系统的影响 恢复过程中会停止用户认证，用户无法开始新的连接。 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后，需要重新启动Hive的上层应用。
恢复Kafka元数据 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对ZooKeeper进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，导致Kafka组件全部故障无法使用，或者迁移数据到新集群的场景中，需要对Kafka元数据进行恢复数据操作。 系
Manager创建恢复HDFS任务。只支持创建任务手动恢复数据。 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的HDFS数据。 对于Yarn任务运行时使用的目录（例如“
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
