检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集群管理 集群生命周期管理 集群在线扩缩容 创建Task节点 自动弹性伸缩 节点隔离 升级Master节点规格 节点标签管理 父主题： 产品功能
createIndexRequest(String element) { Map<String, String> json = new HashMap<>(); json.put("data", element); //init index request
提交Spark任务时提示参数格式错误 问题现象 用户在使用Spark组件时，提交集群任务运行失败，提示参数格式错误。 原因分析 执行的命令包含了非法字符。 上传的jar包属主属组异常。 处理步骤 检查用户执行命令./bin/spark-submit --class cn.interf
从6和7回显中获取分区的分布信息和节点信息，在当前目录下创建执行重新分配的json文件。 以迁移的是Broker_ID为6的节点的分区为例，迁移到"/srv/BigData/hadoop/data1/kafka-logs”，完成迁移所需的json配置文件，内容如下。 {"partitions":[{"topic":
配置parquet表的压缩格式 配置场景 当前版本对于parquet表的压缩格式分以下两种情况进行配置： 对于分区表，需要通过parquet本身的配置项“parquet.compression”设置parquet表的数据压缩格式。如在建表语句中设置tblproperties："parquet
从零开始使用Spark SQL Spark提供类似SQL的Spark SQL语言操作结构化数据，本章节提供从零开始使用Spark SQL，创建一个名称为src_data的表，然后在src_data表中每行写入一条数据，最后将数据存储在“mrs_20160907”集群中。再使用SQ
消费Kafka的Topic。 kafka_group_name Kafka消费组。 kafka_format 消费数据的格式化类型，JSONEachRow表示每行一条数据的json格式，CSV格式表示逗号分隔的一行数据。 kafka_row_delimiter 每个消息体（记录）之间的分隔符。
配置parquet表的压缩格式 配置场景 当前版本对于parquet表的压缩格式分以下两种情况进行配置： 对于分区表，需要通过parquet本身的配置项“parquet.compression”设置parquet表的数据压缩格式。如在建表语句中设置tblproperties："parquet
HetuEngine支持配置IoTDB数据源。 Hudi 升级到0.11.0版本。 IoTDB 新增组件，一体化收集、存储、管理与分析物联网时序数据的服务。 集群管理 支持补丁在线推送及更新。 组件版本信息 表1 MRS组件版本信息 组件 版本 CarbonData 2.2.0 ClickHouse 22.3.2.2
权信息等。 如下公共消息头需要添加到请求中。 Content-Type：消息体的类型（格式），必选，默认取值为“application/json”，有其他取值时会在具体接口中专门说明。 Authorization：签名认证信息，可选，当使用AK/SK方式认证时，使用SDK对请求进
数据为当前指定的数据文件内容，通过limit限制数据量时一次只能指定一个数据量大小。 -t 打印写入数据的时区。 打印此文件写入时区。 -h 使用帮助格式化说明。 帮助。 -m 各存储格式的统计信息输出。 各存储格式不一样，例如orc会打印含strip、块大小等统计信息。 -a 完整信息详情打印输出。
int compaction.async.enabled 否 true 是否开启在线压缩 compaction.schedule.enabled 否 true 是否阶段性生成压缩plan，即使关闭在线压缩的情况下也建议开启 compaction.tasks 否 10 压缩Hudi表task并行度
查看MRS集群日志 MRS集群日志概述 查看MRS云服务操作日志 查看历史MRS集群信息 查看MRS集群审计日志 查看MRS组件角色实例日志 在线检索MRS集群日志 下载MRS集群日志 采集MRS集群服务堆栈信息 配置MRS组件默认日志级别与归档文件大小 配置MRS集群审计日志本地备份数
体对接指导请参见MRS服务如何对接云日志服务。 同时FusionInsight Manager支持在线检索并显示组件的日志内容，用于问题定位等其他日志查看场景，详细操作指导请参见在线检索日志。FusionInsight Manager支持批量导出各个服务角色所有实例生成的日志，无
Hive主要特点如下： 通过HQL语言非常容易的完成数据提取、转换和加载（ETL）。 通过HQL完成海量结构化数据分析。 灵活的数据存储格式，支持JSON、CSV、TEXTFILE、RCFILE、ORCFILE、SEQUENCEFILE等存储格式，并支持自定义扩展。 多种客户端连接方式，支持JDBC接口。
消费Kafka的Topic。 kafka_group_name Kafka消费组。 kafka_format 消费数据的格式化类型，JSONEachRow表示每行一条数据的json格式，CSV格式表示逗号分隔的一行数据。 kafka_row_delimiter 每个消息体（记录）之间的分隔符。
端处理出现异常，所以返回的页面会提示“Error Occurred”。而IE浏览器访问该REST接口时，优先以“application/json”的格式响应，服务器会正确响应给浏览器“404”的状态码。 父主题： Yarn常见问题
端处理出现异常，所以返回的页面会提示“Error Occurred”。而IE浏览器访问该REST接口时，优先以“application/json”的格式响应，服务器会正确响应给浏览器“404”的状态码。 父主题： Yarn常见问题
date jsonb string json string float4 float float8 duble text string 表7 DRS Oracle Json和Spark数据类型映射关系（MRS 3.3.0及之后版本支持） Oracle Json数据类型 Spark（Hudi）数据类型
Datasource Avro格式查询异常 问题 Datasource Avro格式查询报错，提示Caused by: org.apache.spark.sql.avro.IncompatibleSchemaException。 回答 针对avro格式表查询报错，根本原因是avr
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
