检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink 升级到1.15.0版本。 FlinkServer支持审计日志。 Hadoop 升级到3.3.1版本。 HetuEngine HetuEngine支持物化视图及自动刷新。 HetuEngine支持配置IoTDB数据源。 Hudi 升级到0.11.0版本。
为什么存储小文件过程中,缓存中的数据会丢失 问题 在存储小文件过程中,系统断电,缓存中的数据丢失。 回答 由于断电,当写操作完成之后,缓存中的block不会立即被写入磁盘,如果要同步地将缓存的block写入磁盘,用户需要将“客户端安装路径/HDFS/hadoop/etc/hadoop
为什么存储小文件过程中,缓存中的数据会丢失 问题 在存储小文件过程中,系统断电,缓存中的数据丢失。 回答 由于断电,当写操作完成之后,缓存中的block不会立即被写入磁盘,如果要同步地将缓存的block写入磁盘,用户需要将“客户端安装路径/HDFS/hadoop/etc/hadoop
如何使用IDEA远程调试 问题 在Spark二次开发中如何使用IDEA远程调试? 回答 以调试SparkPi程序为例,演示如何进行IDEA的远程调试。 打开工程,在菜单栏中选择“Run > Edit Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的“+”号
产品优势 MapReduce服务(MRS)提供租户完全可控的企业级大数据集群云服务,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件,用户无需关注硬件的购买和维护。MRS服务拥有强大的Hadoop内核团队,基于华为FusionInsight大数据企业级平台构筑
MRS 2.1.0版本集群对Storm日志的大小有什么限制? 问: MRS 2.1.0版本的集群对Storm日志的大小有什么限制? 答: MRS 2.1.0版本的集群对Storm日志有不超过20G的限制,超出后会循环删除。 因为日志是保存在系统盘上,有空间限制。
Impala 4.3.0版本,开启Ranger后如何对接kudu外表?
Hive 3.1版本与Hive 1.2版本相比不兼容内容主要如下: 字段类型约束:Hive 3.1不支持String转成int。 UDF不兼容:Hive 3.1版本UDF内的Date类型改为Hive内置。 索引功能废弃。
商用 缩容指定节点 2 下线MRS 1.8.10版本 请选择MRS 1.9.2版本进行购买。 商用 MRS组件版本一览表 3 下线MRS 2.1.0版本 请选择MRS 3.0.5版本进行购买。
委托的账号:填写本用户的云账号,即使用手机号开通的账号,不能是联邦用户或者IAM用户。 持续时间:选择“永久”。 在弹出授权页面的搜索框内,搜索3新建的自定义策略,并勾选该策略,例如“clickhouse-policy”。
LTS版集群支持HetuEngine、IoTDB等组件,如果您需要使用相关组件,您可以选择购买LTS版集群。 由于已购买的LTS版集群无法切换为普通版,请根据需要选择购买。
附录 修改集群服务配置参数 访问集群Manager 使用MRS客户端
问: MRS 3.1.0版本的集群,Spark任务支持哪些python版本? 答: MRS 3.1.0版本的集群,Spark任务建议使用python2.7或3.x版本。 父主题: 组件配置类
MRS 3.0.5版本)表时(<=1.15.0),需要设置查询参数:set enabled_runtime_filter_types=MIN_MAX 父主题: Impala常见问题
使用Tez 访问Tez WebUI查看任务执行结果 Tez常用配置参数 Tez日志介绍 Tez常见问题
使用Kafka Kafka数据消费概述 Kafka用户权限管理 Kafka客户端使用实践 快速使用Kafka生产消费数据 创建Kafka Topic 在Kafka Topic中接入消息 管理Kafka Topic Kafka企业级能力增强 Kafka性能调优 Kafka运维管理 Kafka
使用Storm 从零开始使用Storm 使用Storm客户端 使用客户端提交Storm拓扑 访问Storm的WebUI 管理Storm拓扑 查看Storm拓扑日志 Storm常用参数 配置Storm业务用户密码策略 迁移Storm业务至Flink Storm日志介绍 性能调优
使用Flink Flink作业引擎概述 Flink用户权限管理 Flink客户端使用实践 创建FlinkServer作业前准备 创建FlinkServer作业 管理FlinkServer作业 Flink运维管理 Flink性能调优 Flink客户端常见命令说明 Flink常见问题
使用OpenTSDB 使用MRS客户端操作OpenTSDB指标数据 使用curl命令操作OpenTSDB
使用Impala Impala客户端使用实践 访问Impala WebUI界面 使用Impala操作Kudu表 Impala对接外部LDAP Impala启用并配置动态资源池 使用Impala查询管理界面 Impala常见配置参数 Impala常见问题