检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据迁移方案介绍 准备工作 元数据导出 数据复制 数据恢复 父主题： 数据迁移
查询Impala数据 功能简介 本小节介绍了如何使用Impala SQL对数据进行查询分析。从本节中可以掌握如下查询分析方法。 SELECT查询的常用特性，如JOIN等。 加载数据进指定分区。 如何使用Impala自带函数。 如何使用自定义函数进行查询分析，如何创建、定义自定义函数请见开发Impala用户自定义函数。
如何关闭ZooKeeper的SASL认证？ 问： 怎么关闭ZooKeeper SASL认证？ 答： 登录FusionInsight Manager。 选择“集群 > 服务 > ZooKeeper > 配置 > 全部配置”。 在左侧导航栏选择“quorumpeer > 自定义”添加参数名称和值：zookeeper
均衡操作时间估算受两个因素影响： 需要迁移的总数据量： 每个DataNode节点的数据量应大于（平均使用率-阈值）*平均数据量，小于（平均使用率+阈值）*平均数据量。若实际数据量小于最小值或大于最大值即存在不平衡，系统选择所有DataNode节点中偏差最多的数据量作为迁移的总数据量。 Balancer的
数据迁移到MRS前信息收集 由于离线大数据搬迁有一定的灵活性，迁移前需要掌握现有集群的详细信息，以能够更好的进行迁移决策。 业务信息调研 大数据平台及业务的架构图。 大数据平台和业务的数据流图（包括峰值和均值流量等）。 识别平台数据接入源、大数据平台数据流入方式（实时数据上报、批量数据抽取）、分析平台数据流向。
从关系型数据库导入数据到HDFS/OBS 从关系型数据库导入数据到HBase 从关系型数据库导入数据到Phoenix表 从关系型数据库导入数据到Hive表 从SFTP服务器导入数据到HDFS/OBS 从SFTP服务器导入数据到HBase 从SFTP服务器导入数据到Phoenix表 从SFTP服务器导入数据到Hive表
问： 已创建的MRS集群如何修改Kerberos认证的开启状态？ 答： MRS服务暂不支持集群创建完成后手动开启和关闭Kerberos服务，如需更换Kerberos认证状态，建议重新创建MRS集群，然后进行数据迁移。 父主题： 用户认证及权限类
作“更多 > 下载认证凭据”下载认证凭据文件，保存后解压得到用户的“user.keytab”文件与“krb5.conf”文件。Keytab文件用于在样例工程中进行安全认证，具体使用请参考各服务的开发指南指导。 如果用户类型是人机，需要先修改初始密码后再下载认证凭据文件，否则在使用时会提示“Password
Hive ORC数据存储优化 操作场景 “ORC”是一种高效的列存储格式，在压缩比和读取效率上优于其他文件格式。 建议使用“ORC”作为Hive表默认的存储格式。 前提条件 已登录Hive客户端，具体操作请参见Hive客户端使用实践。 操作步骤 推荐：使用“SNAPPY”压缩，适用于压缩比和读取效率要求均衡场景。
配置Hive JDBC接口访问Hive安全认证 在开启了Kerberos认证的集群中，客户端连接组件之前需要进行安全认证，以确保通信的安全性，Hive应用开发需要进行ZooKeeper和Kerberos安全认证。 JDBC样例工程包含安全认证代码，支持在Windows与Linux环
分析Impala数据 功能简介 本小节介绍了如何使用样例程序完成分析任务。本章节以使用JDBC接口提交数据分析任务为例。 样例代码 使用Impala JDBC接口提交数据分析任务，参考样例程序中的JDBCExample.java。 修改以下变量为false，标识连接集群的认证模式为普通模式。
单击“添加角色”，输入“角色名称”和“描述”。 在“权限”的表格中选择“Hive > Hive Read Write Privileges”。 在数据库列表中单击用户B创建的表所在的数据库名称，显示用户B创建的表。 在用户B创建的表的“权限”列，勾选“Select”。 单击“确定”，返回“角色”。 选择“系统设置
添加HetuEngine数据源 使用HetuEngine跨源跨域访问数据源 添加Hive数据源 添加Hudi数据源 添加ClickHouse数据源 添加GAUSSDB数据源 添加HBase数据源 添加跨集群HetuEngine数据源 添加IoTDB数据源 添加MySQL数据源 添加Oracle数据源
数据分析 使用Spark2x实现车联网车主驾驶行为分析 使用Hive加载HDFS数据并分析图书评分情况 使用Hive加载OBS数据并分析企业雇员信息 通过Flink作业处理OBS数据 通过Spark Streaming作业消费Kafka数据 通过Flume采集指定目录日志系统文件至HDFS
数据导入 概述 使用Loader导入数据 典型场景：从SFTP服务器导入数据到HDFS/OBS 典型场景：从SFTP服务器导入数据到HBase 典型场景：从SFTP服务器导入数据到Hive 典型场景：从FTP服务器导入数据到HBase 典型场景：从关系型数据库导入数据到HDFS/OBS
数据写入 写入更新数据时报错 Parquet/Avro schema 写入更新数据时报错UnsupportedOperationException 写入更新数据时报错SchemaCompatabilityException Hudi在upsert时占用了临时文件夹中大量空间 Hudi写入小精度Decimal数据失败
Flume数据采集慢 问题现象 Flume启动后，Flume数据采集慢。 原因分析 Flume堆内存设置不合理，导致Flume进程一直处于频繁GC。查看Flume运行日志： 2019-02-26T13:06:20.666+0800: 1085673.512: [Full GC:[CMS:
KerberosConfigPath 访问数据源用户的krb5配置文件，参考配置HetuEngine应用安全认证获取。 KerberosKeytabPath 访问数据源用户的keytab配置文件，参考配置HetuEngine应用安全认证获取。 jdbc_location 导入并配置HetuEngine
免信息泄露。 HBase表重建 重启目的集群的HBase服务，使数据迁移生效。在启动过程中，HBase会加载当前HDFS上的数据并重新生成元数据。启动完成后，在Master节点客户端执行如下命令加载HBase表数据。 $HBase_Home/bin/hbase hbck -fixMeta
数据导出 概述 使用Loader导出数据 典型场景：从HDFS/OBS导出数据到SFTP服务器 典型场景：从HBase导出数据到SFTP服务器 典型场景：从Hive导出数据到SFTP服务器 典型场景：从HDFS/OBS导出数据到关系型数据库 典型场景：从HBase导出数据到关系型数据库
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
