检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
前TimelineServer已经开启且正常运行。 在设置Hive执行引擎为Tez的同时,需要设置参数“yarn.timeline-service.enabled”为“true”,详情请参考切换Hive执行引擎为Tez。 父主题: Tez常见问题
DGC并发提交Flink作业偶现下载keytab文件失败。 Impala异常重启。Impala queries页面采集数据时和提交SQL查询时读取了同一个vector容器,导致查询queries数据时coredump重启。 开启haproxyfloatname的Kerberos Principal后,Imp
database 原因分析 使用ClickHouse过程中,ClickHouse实例异常场景下,重复创建集群ReplicatedMergeTree引擎表,后续又进行删除表等操作导致ZooKeeper上的数据异常,致使ClickHouse启动失败。 解决办法 备份问题节点数据库下所有表数据到其他目录。
输入用户密码 参考Kafka引擎表使用语法说明,在ClickHouse中创建Kafka引擎表。例如,如下建表语句在default数据库下,创建表名为kafka_src_tbl3,Topic名为kafkacktest2、消息格式为JSONEachRow的Kafka引擎表。 create table
/opt/client/bigdata_env /opt/client为举例当前集群客户端的安装目录,请根据实际情况修改。 执行如下命令将OBS容器内部的目录挂载到Alluxio的/obs目录。 alluxio fs mount /obs obs://<OBS_BUCKET>/<OBS_DIRECTORY>/
superior引擎的判定数量。 number_pending_request int 挂起申请的总数。这反映了superior引擎的判定数量。 number_reserved_container int 预留container的总数。这反映了superior引擎的判定数量。 master_container_id
superior引擎的判定数量。 number_pending_request int 挂起申请的总数。这反映了superior引擎的判定数量。 number_reserved_container int 预留container的总数。这反映了superior引擎的判定数量。 master_container_id
superior引擎的判定数量。 number_pending_request int 挂起申请的总数。这反映了superior引擎的判定数量。 number_reserved_container int 预留container的总数。这反映了superior引擎的判定数量。 master_container_id
如何调用API 构造请求 认证鉴权 返回结果
superior引擎的判定数量。 number_pending_request int 挂起申请的总数。这反映了superior引擎的判定数量。 number_reserved_container int 预留container的总数。这反映了superior引擎的判定数量。 master_container_id
在“基本配置”区域中,选择“所属租户”为用户所关联的租户,配置“实例部署超时时间(秒)”和“实例数量”。 根据实际资源规划配置“Coordinator容器资源配置”、“Worker容器资源配置”以及“高级配置”区域相关参数,参数详情可参考创建HetuEngine计算实例章节或保持默认值即可。 创建计算实例时
为了保证ClickHouse服务的稳定,需要提早规划好对于底层依赖服务的设计,主要是ZooKeeper,尤其是在使用replicated*系列表引擎的场景下。 ZooKeeper默认部署在MRS集群的Master节点,根据节点CPU和内存规格,调整ZooKeeper实例的最大可用内存。
Hudi的读操作,作用于Hudi的三种视图之上,可以根据需求差异选择合适的视图进行查询。 Hudi支持多种查询引擎Spark、Hive、HetuEngine,具体支持矩阵见表1和表2。 表1 cow表 查询引擎 实时视图/读优化视图 增量视图 Hive Y Y Spark(SparkSQL) Y Y
LakeFormation是企业级一站式湖仓构建服务,提供元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持无缝对接多种计算引擎及大数据云服务,使客户便捷高效地构建数据湖和运营相关业务,加速释放业务数据价值。 您可以创建一个LakeFormation实例并与MRS集
HetuEngine应用开发简介 HetuEngine简介 HetuEngine是华为自研高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合,实现海量数据秒级交互式查询;支持跨源跨域统一访问,使能数据湖内、湖间、湖仓一站式SQL融合分析。 HetuEngine基本概念
HDFS常用API介绍 HDFS Java API接口介绍 HDFS C API接口介绍 HDFS HTTP REST API接口介绍 父主题: HDFS应用开发常见问题
Spark常用API介绍 Spark Java API接口介绍 Spark Scala API接口介绍 Spark Python API接口介绍 Spark client CLI介绍 Spark JDBCServer接口介绍 父主题: Spark应用开发常见问题
Kafka Java API介绍 Kafka相关接口同开源社区保持一致,详情请参见https://kafka.apache.org/24/documentation.html。 Producer重要接口 表1 Producer重要参数 参数 描述 备注 bootstrap.servers
调整集群节点 功能介绍 创建集群后,扩容/缩容集群Core节点或者Task节点。MRS集群创建成功后不支持调整Master节点数量,即不支持扩缩容Master节点。该接口不兼容Sahara。处于running状态的集群才允许扩容/缩容,其他状态则不允许扩容/缩容。 集群状态和集群ID可参考查询集群列表接口获取。
支持多种查询引擎Spark和Hive,具体支持矩阵见表1和表2。 表1 cow表 查询引擎 实时视图/读优化视图 增量视图 Hive Y Y Spark(SparkSQL) Y Y Spark(SparkDataSource API) Y Y 表2 mor表 查询引擎 实时视图 增量视图