检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kudu应用程序开发思路 通过典型场景,可以快速学习和掌握Kudu的开发过程,并对关键的接口函数有所了解。 开发思路 作为存储引擎,通常情况下会和计算引擎一起协同工作: 首先在计算引擎上(比如Impala)用SQL语句创建表对象; 然后通过Kudu的驱动往这个表里写数据; 于此同时可以在计算引擎上直接查询这个表里的数据
None 功能介绍 MapReduce服务 MRS 服务介绍 04:08 MapReduce服务介绍 云容器引擎 CCE 简介 07:25 云容器引擎简介 云容器引擎 CCE 服务介绍 03:23 云容器引擎服务介绍 特性讲解 MapReduce服务 MRS MRS集群存算分离方案介绍
Hive应用开发简介 Hive介绍 Hive是一个开源的,建立在Hadoop上的数据仓库框架,提供类似SQL的HQL语言操作结构化数据,其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务,从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下
购买MRS集群提交订单时报无效认证如何处理? 问: 购买MRS集群,提交订单时,报无效认证,怎么办? 答: 通过管理人员检查API请求日志发现告警信息为细粒度策略中未赋予IAM用户“mrs:cluster:create”的权限导致。 分析原因为当前IAM用户归属在多个用户组内,多个用户组分别赋予了不同的
Alluxio Alluxio是一个面向基于云的数据分析和人工智能的数据编排技术。在MRS的大数据生态系统中,Alluxio位于计算和存储之间,为包括Apache Spark、Presto、Mapreduce和Apache Hive的计算框架提供了数据抽象层,使上层的计算应用可以通过统一的客户端
Oozie应用开发样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下
HBase应用开发常用概念 过滤器 过滤器用于帮助用户提高HBase处理表中数据的效率。用户不仅可以使用HBase中预定义好的过滤器,而且可以实现自定义的过滤器。 协处理器 允许用户执行region级的操作,并且可以使用与RDBMS中触发器类似的功能。 Client 客户端直接面向用户
通过HSBroker的用户名密码认证实现查询HetuEngine SQL任务 本章节适用于MRS 3.3.0及以后版本。 通过HSBroker连接方式实现,使用用户名和密码连接到HetuEngine,组装对应的SQL发送到HetuEngine执行。 import jaydebeapi
编译并调测Flink应用 操作场景 在程序代码完成开发后,编译jar包并上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Flink客户端的运行步骤是相同的。 基于YARN集群的Flink应用程序不支持在Windows环境下运行,只支持在Linux环境下运行
为什么ZooKeeper节点上netcat命令无法正常运行 问题 为什么在Zookeeper服务器上启用安全的netty配置时,四个字母的命令不能与linux的netcat命令一起使用? 例如: echo stat |netcat host port 回答 Linux的netcat
配置AM失败重试次数 配置场景 在资源不足导致ApplicationMaster启动失败的情况下,调整如下参数值,提高容错性,保证客户端应用的正常运行。 配置描述 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面,在搜索框中输入表1中参数名称。 表1 参数说明 参数 描述
访问Spark应用获取的restful接口信息有误 问题 当Spark应用结束后,访问该应用的restful接口获取job信息,发现job信息中“numActiveTasks”的值是负数,如图1所示。 图1 job信息 numActiveTasks是指当前正在运行task的个数。
访问Spark应用获取的restful接口信息有误 问题 当Spark应用结束后,访问该应用的restful接口获取job信息,发现job信息中“numActiveTasks”的值是负数,如图1所示。 图1 job信息 numActiveTasks是指当前正在运行task的个数。
为什么ZooKeeper节点上netcat命令无法正常运行 问题 为什么在Zookeeper服务器上启用安全的netty配置时,四个字母的命令不能与linux的netcat命令一起使用? 例如: echo stat |netcat host port 回答 Linux的netcat
COMPACTION 命令功能 压缩( compaction)用于在MergeOnRead表将基于行的log日志文件转化为parquet列式数据文件,用于加快记录的查找。 命令格式 SCHEDULE COMPACTION on tableIdentifier |tablelocation
Kafka高可靠使用说明 Kafka高可靠、高可用说明 Kafka消息传输保障机制,可以通过配置不同的参数来保障消息传输,进而满足不同的性能和可靠性要求的应用场景。 Kafka高可用、高性能 如果业务需要保证高可用和高性能,可以采用参数: 参数 默认值 说明 unclean.leader.election.enable
ClickHouse应用程序开发思路 通过典型场景,用户可以快速学习和掌握ClickHouse的开发过程,并且对关键的接口函数有所了解。 场景说明 ClickHouse可以使用SQL进行常见的业务操作,代码样例中所涉及的SQL操作主要包括创建数据库、创建表、插入表数据、查询表数据以及删除表操作
Oozie应用开发样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下
HDFS样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下HDFS
HDFS样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下HDFS