检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Catalog无法删除)。可以通过DROP CATALOG命令删除一个External Catalog。 该操作仅会删除Doris中该Catalog的映射信息,并不会修改或变更任何外部数据目录的内容。 Resource Resource是一组配置的集合。用户可以通过CREATE RES
在执行以上命令之前,<outputPath>目录必须不存在,否则会报错。 在MapReduce任务运行过程中禁止重启HDFS服务,否则可能会导致任务失败。 对于MapReduce访问多组件样例程序,操作步骤如下。 获取“hbase-site.xml”、“hiveclient.pr
ncer实例单点故障。 写入ClickHouse时会过滤Flink计算过程中产生的DELETE消息。 攒批写参数:Flink会将数据先放入内存,到达触发条件时再flush到数据库表中。相关配置如下。 sink.buffer-flush.max-rows:攒批写ClickHouse的行数,默认100。
MRS集群支持补丁操作,会及时发布开源大数据组件的补丁。用户能够在MRS集群管理页面上查看到运行集群相关的补丁发布信息,包括其修复问题的详细说明及影响场景,用户可以根据业务运行情况自行选择是否安装补丁。补丁安装过程是一键式操作,无需人工干预,通过滚动安装,补丁升级不会停止业务,保障用户集群长期可用。
在执行以上命令之前,<outputPath>目录必须不存在,否则会报错。 在MapReduce任务运行过程中禁止重启HDFS服务,否则可能会导致任务失败。 对于MapReduce访问多组件样例程序,操作步骤如下。 获取“hbase-site.xml”、“hiveclient.pr
获取MRS应用开发样例工程 MRS样例工程构建流程 MRS样例工程构建流程包括三个主要步骤: 下载样例工程的Maven工程源码和配置文件,请参见获取MRS样例工程。 配置华为镜像站中SDK的Maven镜像仓库,请参见配置华为开源镜像仓。 根据用户自身需求,构建完整的Maven工程并进行编译开发。
Kerberos Server配置信息。 core-site.xml 配置Hive详细参数。 检查客户端节点网络连接。 在安装客户端过程中,系统会自动配置客户端节点“hosts”文件,建议检查“/etc/hosts”文件内是否包含集群内节点的主机名信息,如未包含,需要手动复制解压目录下
t id from hive.default.mv1”。 使用HetuEngine物化视图场景 与普通的视图相比,物化视图会存储实际数据,占用存储资源,并且会有预计算带来的数据滞后性的问题,因此物化视图推荐在如下场景中使用: 执行频次高的查询。 查询包含非常耗时的操作,比如聚合、连接操作等。
0/src/kafka-examples。 本地使用IDEA工具导入样例工程,等待Maven工程下载相关依赖包。 本地配置好Maven及SDK相关参数后,样例工程会自动加载相关依赖包,具体操作可参考配置并导入样例工程。 在示例程序“WordCountDemo”中,通过调用Kafka接口来获取单词记录,然
x.x.x/install/FusionInsight-dbservice-2.7.0/”为DBService工作区的安装目录,请按照实际升级环境进行修改。 进入“$BIGDATA_HOME/FusionInsight_BASE_x.x.x/install/FusionInsight-dbservice-2
使用Hue创建工作流 操作场景 用户通过Hue管理界面可以进行提交Oozie作业,提交作业之前,首先需要创建一个工作流。 前提条件 使用Hue提交Oozie作业之前,需要提前配置好Oozie客户端,并上传样例配置文件和jar至HDFS指定目录,具体操作请参考Oozie客户端配置说明章节。
使用Hue创建工作流 操作场景 用户通过Hue管理界面可以进行提交Oozie作业,提交作业之前,首先需要创建一个工作流。 前提条件 使用Hue提交Oozie作业之前,需要提前配置好Oozie客户端,并上传样例配置文件和jar至HDFS指定目录,具体操作请参考Oozie客户端配置说明章节。
配置DataNode节点容量不一致时的副本放置策略 操作场景 默认情况下,NameNode会随机选择DataNode节点写文件。当集群内某些数据节点的磁盘容量不一致(某些节点的磁盘总容量大,某些总容量小),会导致磁盘总容量小的节点先写满。通过修改集群默认的DataNode写数据时的磁盘选择
配置DataNode节点容量不一致时的副本放置策略 操作场景 默认情况下,NameNode会随机选择DataNode节点写文件。当集群内某些数据节点的磁盘容量不一致(某些节点的磁盘总容量大,某些总容量小),会导致磁盘总容量小的节点先写满。通过修改集群默认的DataNode写数据时的磁盘选择
Scan中新增反向扫描方法设置isReversed()和setReversed(boolean reversed)。 HBase 0.98到1.0的API变更,请参考:https://issues.apache.org/jira/browse/hbase-10602。 HBase 1.0 建议不要使用org
配置高可用、高性能的影响: 配置高可用、高性能模式后,数据可靠性会降低。在磁盘故障、节点故障等场景下存在数据丢失风险。 配置高可靠性的影响: 性能降低: 在生产数据时,配置了高可靠参数ack=-1之后,需要多个副本均写入成功之后才认为是写入成功。这样会导致单条消息时延增加,客户端处理能力下降。具体性能以现场实际测试数据为准。
在服务页面手动停用Ranger鉴权,停用Ranger鉴权后,访问组件资源时系统将继续基于Manager的角色模型进行权限控制。 从历史版本升级的集群,用户访问组件资源时默认不使用Ranger鉴权,集群管理员可在安装了Ranger服务后手动启用Ranger鉴权。 当前操作仅适用于MRS
请求可能会导致请求异常。 原理介绍 HBase支持对同一张表的数据进行冷热分离存储。用户在表上配置数据冷热时间分界点后,HBase会依赖用户写入数据的时间戳(毫秒)和时间分界点来判断数据的冷热。数据开始存储在热存储上,随着时间的推移慢慢往冷存储上迁移。同时用户可以任意变更数据的冷
据有异常(不完整)就上报给客户端,让客户端重新写入数据。客户端从DataNode读数据的时候也一样要检查数据是否完整,如果发现数据不完整,会尝试从其他的DataNode节点上读取数据。 数据保密性 MRS分布式文件系统在Apache Hadoop版本基础上提供对文件内容的加密存储
Once)。 SavePoint Savepoint是指允许用户在持久化存储中保存某个checkpoint,以便用户可以暂停自己的任务进行升级。升级完后将任务状态设置为savepoint存储的状态开始恢复运行,保证数据处理的延续性。 样例工程介绍 MRS样例工程获取地址为https://github