检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集群管理 集群生命周期管理 集群在线扩缩容 创建Task节点 自动弹性伸缩 节点隔离 升级Master节点规格 节点标签管理 父主题: 产品功能
数据为当前指定的数据文件内容,通过limit限制数据量时一次只能指定一个数据量大小。 -t 打印写入数据的时区。 打印此文件写入时区。 -h 使用帮助格式化说明。 帮助。 -m 各存储格式的统计信息输出。 各存储格式不一样,例如orc会打印含strip、块大小等统计信息。 -a 完整信息详情打印输出。
Y Y Y Y Y Y(8) \ CHAR N N N N N N N N Y VARBINARY N N N N N N N N N JSON N N N N N N N N Y DATE N N N N N N N N Y TIME N N N N N N N N Y TIME
提交Spark任务时提示参数格式错误 问题现象 用户在使用Spark组件时,提交集群任务运行失败,提示参数格式错误。 原因分析 执行的命令包含了非法字符。 上传的jar包属主属组异常。 处理步骤 检查用户执行命令./bin/spark-submit --class cn.interf
从6和7回显中获取分区的分布信息和节点信息,在当前目录下创建执行重新分配的json文件。 以迁移的是Broker_ID为6的节点的分区为例,迁移到“/srv/BigData/hadoop/data1/kafka-logs”,完成迁移所需的json配置文件,内容如下。 {"partitions":[{"topic":
curl -k -i -b /tmp/jsessionid.txt -X POST -HContent-type:application/json -d '{"userName":"user888","userType":"HM","password":"xxx","confirmPassword":"xxxx"
MRS 3.3.0及之后版本: drs-opengauss-json ogg-oracle-avro drs-oracle-json drs-oracle-avro opengauss drs-opengauss-json DB driver 选择已上传的thirdparty-kafka驱动文件。
查看MRS集群日志 MRS集群日志概述 查看MRS云服务操作日志 查看历史MRS集群信息 查看MRS集群审计日志 查看MRS组件角色实例日志 在线检索MRS集群日志 下载MRS集群日志 采集MRS集群服务堆栈信息 配置MRS组件默认日志级别与归档文件大小 配置MRS集群审计日志本地备份数
apache.hadoop.hbase.rest.Constants,这里调用的参数为Constants.MIMETYPE_JSON)和内容(在这里需要转换内容到json,使用jsonMapper作为参数)。响应被'org.apache.hadoop.hbase.rest.client.Response'类的对象捕获。例如
createIndexRequest(String element) { Map<String, String> json = new HashMap<>(); json.put("data", element); //init index request
体对接指导请参见MRS服务如何对接云日志服务。 同时FusionInsight Manager支持在线检索并显示组件的日志内容,用于问题定位等其他日志查看场景,详细操作指导请参见在线检索日志。FusionInsight Manager支持批量导出各个服务角色所有实例生成的日志,无
HetuEngine支持配置IoTDB数据源。 Hudi 升级到0.11.0版本。 IoTDB 新增组件,一体化收集、存储、管理与分析物联网时序数据的服务。 集群管理 支持补丁在线推送及更新。 组件版本信息 表1 MRS组件版本信息 组件 版本 CarbonData 2.2.0 ClickHouse 22.3.2.2
Flink作业引擎概述 Flink WebUI提供基于Web的可视化开发平台,用户只需要编写SQL即可开发作业,极大降低作业开发门槛。同时通过作业平台能力开放,支持业务人员自行编写SQL开发作业来快速应对需求,大大减少Flink作业开发工作量。 Flink WebUI特点 Flink
Datasource Avro格式查询异常 问题 Datasource Avro格式查询报错,提示Caused by: org.apache.spark.sql.avro.IncompatibleSchemaException。 回答 针对avro格式表查询报错,根本原因是avr
从6和7回显中获取分区的分布信息和节点信息,在当前目录下创建执行重新分配的json文件。 以迁移的是Broker_ID为6的节点的分区为例,迁移到"/srv/BigData/hadoop/data1/kafka-logs”,完成迁移所需的json配置文件,内容如下。 {"partitions":[{"topic":
int compaction.async.enabled 否 true 是否开启在线压缩 compaction.schedule.enabled 否 true 是否阶段性生成压缩plan,即使关闭在线压缩的情况下也建议开启 compaction.tasks 否 10 压缩Hudi表task并行度
权信息等。 如下公共消息头需要添加到请求中。 Content-Type:消息体的类型(格式),必选,默认取值为“application/json”,有其他取值时会在具体接口中专门说明。 Authorization:签名认证信息,可选,当使用AK/SK方式认证时,使用SDK对请求进
Table中使用的Short和Long数据类型在DESCRIBE命令中分别显示为Smallint和Bigint。 可以使用DESCRIBE格式化命令查看表数据大小和表索引大小。 操作结果 根据命令创建表。 父主题: CarbonData数据分析
初始化HDFS 功能简介 在使用HDFS提供的API之前,需要先进行HDFS初始化操作。过程为: 加载HDFS服务配置文件,并进行kerberos安全认证。 认证通过后,实例化Filesystem。 此处kerberos安全认证需要使用到的keytab文件,请提前准备。 配置文件介绍
初始化HDFS 功能简介 在使用HDFS提供的API之前,需要先进行HDFS初始化操作。过程为: 加载HDFS服务配置文件。 实例化Filesystem。 配置文件介绍 登录HDFS时会使用到如表1所示的配置文件。这些文件均已导入到“hadoop-examples”工程的“conf”目录。