检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
说明: 使用安装客户端的用户执行以下命令加密密码。加密工具第一次执行时自动生成随机动态密钥并保存在“.loader-tools.key”中,加密工具每次加密密码时会使用此动态密钥。删除“.loader-tools.key”后加密工具执行时会重新生成新的随机密钥并保存在“.loader-tools
owkey查询数据,或者扫描指定rowkey范围内的数据,HBase可以快速查找到需要读取的数据,从而提高效率。在大多数实际情况下,会需要查询列值为XXX的数据。HBase提供了Filter功能来查询具有特定列值的数据:所有数据按RowKey的顺序进行扫描,然后将数据与特定的列值
Storm对外接口介绍 Storm-HDFS采用的接口同开源社区版本保持一致,详情参见:https://github.com/apache/storm/tree/v1.2.1/external/storm-hdfs。 Storm-HBase采用的接口同开源社区版本保持一致,详情参见:https://github
修改节点主机名后导致MRS集群状态异常 进程被终止如何定位原因 MRS配置跨集群互信失败 MRS集群节点使用pip3安装Python时提示网络不可达 开源confluent-kafka-go连接MRS安全集群 MRS集群周期备份任务执行失败 MRS集群客户端无法下载 开启Kerberos认证的MRS集群提交Flink作业报错
Key封装成一个List<Get>,然后请求这个列表以获取数据的查询方式。该方式能避免每个Row Key都发起一次请求。 HBase单表查询范围扫描优化 HBase单表查询范围扫描优化是指根据HBase的列的谓词条件尝试自动推断rowkey的起止地址,在tableScan的时候设置hbase scan起止地址从而提高访问性能。
要通过调整Broker Load的导入参数来实现大文件的导入。 处理步骤 根据当前BE实例的个数和待导入文件的大小修改单个BE的任务的最大扫描量和最大并发数。操作如下: 登录FusionInsight Manager,选择“集群 > 服务 > Doris”,在概览界面查看“Lea
配置华为开源镜像仓 华为提供开源镜像站(网址为https://mirrors.huaweicloud.com/),各服务样例工程依赖的jar包都可在华为开源镜像站下载,剩余所依赖的开源jar包请直接从Maven中央库或者其他用户自定义的仓库地址下载。 本地环境使用开发工具下载依赖的jar包前,需要确认以下信息。
安全集群使用HiBench工具运行sparkbench获取不到realm 问题 运行HiBench6的sparkbench任务,如Wordcount,任务执行失败。 “bench.log”中显示Yarn任务执行失败。 登录Yarn WebUI,查看对应application的失败信息,显示如下:
Storm对外接口介绍 Storm-HDFS采用的接口同开源社区版本保持一致,详情参见:https://github.com/apache/storm/tree/v1.2.1/external/storm-hdfs。 Storm-HBase采用的接口同开源社区版本保持一致,详情参见:https://github
Storm接口介绍 Storm采用的接口同开源社区版本保持一致,详情请参见: http://storm.apache.org/documentation/Home.html。 Storm-HDFS采用的接口同开源社区版本保持一致,详情参见: https://github.com/
存储,关系数据库已经无法解决这些新的大数据问题。为解决以上大数据处理问题,Apache基金会推出了Hadoop大数据处理的开源解决方案。Hadoop是一个开源分布式计算平台,可以充分利用集群的计算和存储能力,完成海量数据的处理。企业自行部署Hadoop系统有成本高,周期长,难运维和不灵活等问题。
配置Hive Transform功能开关 操作场景 Hive开源社区版本禁用Transform功能。 MRS Hive提供配置开关,默认为禁用Transform功能,与开源社区版本保持一致。用户可修改配置开关,开启Transform功能,当开启Transform功能时,存在一定的安全风险。
Hive创建ORC存储格式的表,用SparkSQL读取该表时报错: 原因分析 该问题为一个开源社区问题:https://issues.apache.org/jira/browse/HIVE-11102,使用开源的hive 1.2.1版本包就有可能触发此问题。 MRS的Hive for Spark相关模块已修复该问题。
ALM-12015 设备分区文件系统只读(2.x及以前版本) 告警解释 系统周期性进行扫描,如果检测到挂载服务目录的设备分区变为只读模式(如设备有坏扇区、文件系统存在故障等原因),则触发此告警。 系统如果检测到挂载服务目录的设备分区的只读模式消失(比如文件系统修复为读写模式、设备
配置Hive Transform功能开关 操作场景 Hive开源社区版本禁用Transform功能。 MRS Hive提供配置开关,默认为禁用Transform功能,与开源社区版本保持一致。 用户可修改配置开关,开启Transform功能,当开启Transform功能时,存在一定的安全风险。
Kafka Java API介绍 Kafka相关接口同开源社区保持一致,详情请参见https://kafka.apache.org/24/documentation.html。 Producer重要接口 表1 Producer重要参数 参数 描述 备注 bootstrap.servers
Kafka Java API接口介绍 Kafka相关接口同开源社区保持一致,详情请参见https://kafka.apache.org/24/documentation.html。 Producer重要接口 表1 Producer重要参数 参数 描述 备注 bootstrap.servers
Kafka Java API接口介绍 Kafka相关接口同开源社区保持一致,详情请参见https://kafka.apache.org/24/documentation.html。 Producer重要接口 表1 Producer重要参数 参数 描述 备注 bootstrap.servers
Kafka Java API介绍 Kafka相关接口同开源社区保持一致,详情请参见https://kafka.apache.org/24/documentation.html。 Producer重要接口 表1 Producer重要参数 参数 描述 备注 bootstrap.servers
Spark Scala API接口介绍 由于Spark开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的开源API。 Spark Core常用接口 Spark主要使用到如下这几个类: SparkContext:是Spark的对外接口,负责向调用该类的scal