检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
generic-jdbc-connector 使用JDBC方式从Oracle数据库读取数据,适用于支持JDBC的数据库。 在这种方式下,Loader加载数据的性能受限于分区列的数据分布是否均匀。当分区列的数据偏斜(数据集中在一个或者几个值)时,个别Map需要处理绝大部分数据,进而导致索引失效,造成SQL查询性能急剧下降。
供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高您数据迁移和集成的效率。 CDM服务迁移MySQL数据至MRS集群方案如图2所示。 图2 MySQL数据迁移示意 前提条件 已经购买包含有Hive服务的MRS集群。 已获取连接My
通过Flume采集指定目录日志系统文件至HDFS 应用场景 Flume是一个分布式、可靠和高可用的海量日志聚合的系统。它能够将不同数据源的海量日志数据进行高效收集、聚合、移动,最后存储到一个中心化数据存储系统中。支持在系统中定制各类数据发送方,用于收集数据。同时,提供对数据进行简
使用告警出现日期之前的备份文件进行LdapServer恢复和OMS恢复。 必须使用同一时间点的OMS和LdapServer备份数据进行恢复,否则可能造成业务和操作失败。当业务正常时需要恢复数据,建议手动备份最新管理数据后,再执行恢复数据操作,否则会丢失从备份时刻到恢复时刻之间的Manager数据。
cq2:spark表的列和HBase表的列的映射关系。spark的name列映射HBase表的cf1列簇的cq1列,spark的age列映射HBase表的cf1列簇的cq2列。 通过csv文件导入数据到HBase表,命令如下: hbase org.apache.hadoop.hbase.mapreduce.ImportTsv
硬盘亚健康检测和故障处理,对业务不造成实际影响。 自动处理文件系统的故障,自动恢复受影响的业务。 自动处理进程和节点的故障,自动恢复受影响的业务。 自动处理网络故障,自动恢复受影响的业务。 MRS提供统一的可视化大数据集群管理界面,让运维人员更加轻松。 MRS提供统一的可视化大数据集群管理界面,包括服务启停、配置
向HBase表中插入数据 功能简介 HBase是一个面向列的数据库,一行数据,可能对应多个列族,而一个列族又可以对应多个列。通常,写入数据的时候,需要指定要写入的列(含列族名称和列名称)。HBase通过HTable的put方法来Put数据,可以是一行数据也可以是数据集。 代码样例 以下代码片段在com
generic-jdbc-connector 使用JDBC方式从Oracle数据库读取数据,适用于支持JDBC的数据库。 在这种方式下,Loader加载数据的性能受限于分区列的数据分布是否均匀。当分区列的数据偏斜(数据集中在一个或者几个值)时,个别Map需要处理绝大部分数据,进而导致索引失效,造成SQL查询性能急剧下降。
应用场景 大数据在人们的生活中无处不在,在IoT、电子商务、金融、制造、医疗、能源和政府部门等行业均可以使用华为云MRS服务进行大数据处理。 海量数据分析场景 海量数据分析是现代大数据系统中的主要场景。通常企业会包含多种数据源,接入后需要对数据进行ETL(Extract-Tran
00, real=2.59 secs] 用户业务配置的Spooldir source的deletePolicy策略是立即删除(immediate)。 解决办法 适当调大堆内存(xmx)的值。 将Spooldir source的deletePolicy策略更改为永不删除(never)。
I添加索引会生成与相关数据对应的索引数据,这将花费大量时间。另一方面,使用addIndices()创建的索引不会构建与表数据对应的索引数据。因此,可以使用TableIndexer工具来完成索引的构建。 如果索引数据与表数据不一致,该工具可用于重新构建索引数据。 如果暂时禁用索引并
创建ClickHouse数据库 本章节介绍创建ClickHouse数据库样例代码。 以下代码片段在com.huawei.clickhouse.examples包的“Demo”类的createDatabase方法中。 通过on cluster语句在集群中创建表1中以databaseName参数值为数据库名的数据库。
数据连接管理”,进入数据连接管理页面。 单击“创建数据连接”,在弹出的页面中选择数据连接类型,参考表1填写信息,单击“确定”,完成数据连接创建。创建完成后,可在对应数据连接的“操作”列对数据连接进行编辑、测试、删除等操作。 表1 创建数据连接信息 参数名称 参数描述 示例 数据连接类型 选择数据连
当备NameNode存储元数据时,断电后备NameNode启动失败 问题 当Standby NameNode存储元数据(命名空间)时,出现断电的情况,Standby NameNode启动失败并发生如下错误信息。 回答 当Standby NameNode存储元数据(命名空间)时,出现断电的情况,Standby
创建ClickHouse数据库 本章节介绍创建ClickHouse数据库样例代码。 通过on cluster语句在集群中创建表1中以databaseName参数值为数据库名的数据库。 示例代片段参考如下: private void createDatabase(String databaseName
向HBase表中插入数据 功能简介 HBase是一个面向列的数据库,一行数据,可能对应多个列族,而一个列族又可以对应多个列。通常,写入数据的时候,需要指定要写入的列(含列族名称和列名称)。HBase通过HTable的put方法来Put数据,可以是一行数据也可以是数据集。 代码样例 以下代码片段在com
向HBase表中插入数据 功能简介 HBase是一个面向列的数据库,一行数据,可能对应多个列族,而一个列族又可以对应多个列。通常,写入数据的时候,需要指定要写入的列(含列族名称和列名称)。HBase通过HTable的put方法来Put数据,可以是一行数据也可以是数据集。 代码样例 以下代码片段在com
环境中的主集群完全故障影响HBase上层应用连接时,需要为HBase上层应用配置备集群信息,才可以使得该应用在备集群上运行。 本章节适用于MRS 3.x及之后版本。 对系统的影响 切换业务后,写入备集群的数据默认不会同步到主集群。主集群故障修复后,备集群新增的数据需要通过备份恢复
写入OpenTSDB数据 功能简介 使用OpenTSDB的接口(/api/put)写入数据。 函数genWeatherData()模拟生成的气象数据,函数putData()发送气象数据到OpenTSDB服务端。 样例代码 以下代码片段在com.huawei.bigdata.opentsdb
角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 数据传输异常:如果网络互通异常,数据的传输会变得缓慢或者中断,导致数据丢失或者传输不完整。 任务调度异常:如果网络互通异常,任务调度会受到影响,例如会导致Yarn任务无法正常执行或者执行超时失败。 数据处理异常:如