检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建CDL数据比较任务作业 操作场景 数据比对即是对源端数据库中的数据和目标端Hive中的数据作数据一致性校验，如果数据不一致，CDL可以尝试修复不一致的数据。 当前数据对比任务支持手动全量任务比对。数据比对任务采用On Yarn的运行形态，比对结果会上传到HDFS目录。 数据比对目前仅支持基本数据类型比对，
在下拉菜单中选择数据导入HDFS/OBS后保存文件的压缩格式，未配置或选择NONE表示不压缩数据。 NONE 输出目录 数据导入到HDFS/OBS里存储的保存目录。 说明： 路径参数可以使用宏定义，具体请参考配置项中使用宏定义。 /user/test 文件操作方式 数据导入时的操作行
新； hdfs://cluster1/source、hdfs://cluster2/target分别表示源位置和目标位置。 集群间的数据拷贝，示例如下： hadoop distcp hdfs://cluster1/foo/bar hdfs://cluster2/bar/foo 集
IE 10&IE 11浏览器无法保存数据 问题 通过IE 10&IE 11浏览器访问Loader界面，提交数据后，会报错。 回答 现象 保存提交数据，出现类似报错：Invalid query parameter jobgroup id. cause: [jobgroup]。 原因
000个partition里有数据，不同key对应的数据也被分到相同的partition里。 回答 这是正常现象。 数据分到哪个partition是通过对key的hashcode取模得到的，不同的hashcode取模后的结果有可能是一样的，那样数据就会被分到相同的partitio
体界面显示以实际为准。 元数据 选择“外置数据连接”，并配置以下参数： LakeFormation元数据：单击按钮开启。 LakeFormation连接实例：选择创建LakeFormation数据连接已创建的LakeFormation数据连接名称。 数据连接类型：保持默认。 例如
产生告警的主机名。 对系统的影响 如果没有将元数据备份到第三方服务器，当集群主备管理节点同时故障且本地备份数据丢失时，若想要通过备份包恢复集群元数据则没有可用的备份包数据无法恢复。 可能原因 元数据未配置周期备份到第三方服务器任务。 处理步骤 查看元数据是否配置周期备份。 在FusionInsight
导入导出Hive表/分区数据 操作场景 在大数据应用场景中，往往存在将Hive中的数据表迁移到另一个集群上，使用Hive的导入导出命令可以实现表级别数据迁移，即可使用Export命令将源集群的Hive表导出到目标集群的HDFS中，再在目标集群使用Import命令将导出的数据导入到相应的Hive表中。
采集数据时报错HoodieKeyException 问题 创建Hudi表时，是否可以使用包含空记录的可空字段作为主键？ 回答 不可以。 使用包含空记录的可空字段作为主键时会返回HoodieKeyException异常： Caused by: org.apache.hudi.exception
已提前准备好对接的RDS数据库实例及数据库用户名、密码。详细操作可以参考创建和连接RDS数据库实例。 已成功创建ClickHouse集群且集群和实例状态正常。 约束限制 RDS数据库实例和ClickHouse集群在相同的VPC和子网内。 在进行数据同步操作时需要评估对源数据库和目标数据库性能的影
向Doris表中插入数据 本章节介绍向Doris表中插入数据样例代码。 以下代码片段在“JDBCExample”类中。 以Java JDBC方式执行SQL语句在集群的dbName.tableName表中插入数据。 String insertTableSql = "insert into
提供大数据平台批处理计算能力，能够对结构化/半结构化数据进行批量分析汇总完成数据计算。提供类似SQL的Hive Query Language语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：
HDFS客户端安装在数据节点导致数据分布不均衡 问题背景与现象 HDFS的DataNode数据分布不均匀，在某节点上磁盘使用率很高，甚至达到100%，其他节点空闲很多。 原因分析 客户端安装在该节点，根据HDFS数据副本机制，第一个副本会存放在本地机器，最终导致节点磁盘被占满，而其他节点空闲很多。
获取SFTP服务器使用的用户和密码，且该用户具备SFTP服务器数据导出目录的写入权限。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从HDFS/OBS导出数据时，确保HDFS/OBS数据源的输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;
加载数据到Hive表中 功能介绍 本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。 样例代码 -- 从本地文件系统/opt/hive_examples_
上传数据库驱动文件 操作场景 CDL是一种简单、高效的数据实时集成服务，能够从各种OLTP数据库中抓取事件推送至Kafka。通过CDLService WebUI创建数据库连接时，可将数据库对应的驱动文件通过界面上传，方便统一管理。 前提条件 已获取待连接数据库对应的驱动Jar包。
db”数据库的数据导入到“load_db”数据库中。 repl load load_db from '/user/hive/repl'; 通过repl load导入数据库，指定数据库名称时需要注意以下情况： 指定的数据库不存在，在导入的过程中会创建对应的数据库； 指定的数据库已存在，且该数据库的“hive
如何在不同的namespaces上逻辑地分割数据 问题 如何在不同的namespaces上逻辑地分割数据？ 回答 配置： 要在不同namespaces之间逻辑地分割数据，必须更新HDFS，Hive和Spark的“core-site.xml”文件中的以下配置。 改变Hive组件将改
配置Hive分区元数据冷热存储 分区元数据冷热存储介绍 为了减轻元数据库压力，将长时间未使用过的指定范围的分区相关元数据移动到备份表，这一过程称为分区数据冻结，移动的分区数据称为冷分区，未冻结的分区称为热分区，存在冷分区的表称为冻结表。将被冻结的数据重新移回原元数据表，这一过程称为分区数据解冻。
数据迁移到MRS前网络准备 数据迁移网络方案说明 进行大数据迁移时，需要保证源端集群和目的端集群之间的网络互通，例如使用hadoop distcp命令跨集群复制数据时需要所有DataNode节点网络互通。根据不同的迁移场景需要使用不同的方式先打通两套集群之间网络连接。 客户线下数
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
