检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用ClickHouse ClickHouse概述 ClickHouse用户权限管理 使用ClickHouse客户端 ClickHouse表创建 ClickHouse数据导入 ClickHouse企业级能力增强 ClickHouse性能调优 ClickHouse运维管理 ClickHouse常用SQL语法
员管理、权限管理、财务管理等综合管理服务。区别于管理控制台独立操控、配置云产品的方式,企业管理控制台以面向企业资源管理为出发点,帮助企业以公司、部门、项目等分级管理方式实现企业云上的人员、资源、权限、财务的管理。 MRS支持已开通企业项目服务的用户在创建集群时为集群配置对应的项目
周期之内,用户的业务增长超过预期时,就会出现超出包周期订单规模外的扩容诉求。MRS服务支持包周期集群扩容能力,做到了在轻松帮助您完成扩容的前提下,让您继续享受着包周期的优惠。 您只需要打开MRS服务页面,通过界面操作便可扩容出您需要的节点数。整个扩容过程无需后台人工介入,只需几分
按需转包年/包月 如果您需要长期使用当前按需购买的MRS集群,可以将该MRS集群转为包年/包月计费模式,以节省开支。按需计费变更为包年/包月会生成新的订单,用户支付订单后,包年/包月资源将立即生效。 假设用户于2023/06/18 15:29:16购买了一个按需计费的MRS集群,由于业务需要,于2023/06/18
Mapreduce应用开发规范 Mapreduce应用开发规则 Mapreduce应用开发建议
提交Spark任务时报错“ClassNotFoundException” 问题现象 运行Spark任务报找不到指定的类“ClassNotFoundException”。 详细报错内容如下: Exception encountered | org.apache.spark.internal
读取HDFS文件失败,报错“FileNotFoundException” 问题背景与现象 有MapReduce任务所有map任务均成功,但reduce任务失败,查看日志发现报异常“FileNotFoundException...No lease on...File does not
Manager页面,选择“服务管理 > Storm”,查看Storm服务当前状态,发现状态为“良好”,且监控指标内容显示正确。 对于MRS 3.x及后续版本集群:登录FusionInsight Manager。选择“集群 > 服务 > Storm”,查看Storm服务当前状态,发现状态为“良好”,且监控指标内容显示正确。
DBServer启动失败 问题背景与现象 DBService组件启动失败,重启还是失败,实例状态一直为正在恢复状态。 图1 DBService 的状态 原因分析 查看DBService的日志/var/log/Bigdata/dbservice/DB/gs_ctl-current.log,报如下错误。
Load数据到Hive表失败 问题背景与现象 用户在建表成功后,通过Load命令往此表导入数据,但导入操作中遇到如下问题: ....... > LOAD DATA INPATH '/user/tester1/hive-data/data.txt' INTO TABLE employees_info;
管理MRS集群组件 查看MRS集群组件运行状态 启动停止MRS集群组件 重启MRS集群组件 添加删除MRS集群组件 修改MRS集群组件配置参数 查看MRS集群已修改的组件配置参数 同步MRS集群组件配置参数 添加MRS组件自定义参数 管理MRS角色实例 管理MRS角色实例组 修改MRS角色实例参数
管理MRS集群节点 查看MRS集群节点运行状态 启停MRS集群节点上所有角色 隔离MRS集群节点 修改MRS集群节点机架信息 升级MRS集群Master节点规格 同步MRS集群节点磁盘信息 添加MRS集群节点标签 配置MRS集群节点引导操作 父主题: 管理MRS集群
MRS集群安全配置 集群互信管理 更换MRS集群证书 MRS集群安全加固 修改MRS集群系统用户密码 修改MRS集群数据库用户密码 父主题: MRS集群运维
使用Flume Flume日志采集概述 Flume业务模型配置说明 安装Flume客户端 快速使用Flume采集节点日志 配置Flume非加密传输数据采集任务 配置Flume加密传输数据采集任务 Flume企业级能力增强 Flume运维管理 Flume常见问题
使用Loader Loader数据导入导出概述 Loader用户权限管理 上传MySQL数据库连接驱动 创建Loader数据导入作业 创建Loader数据导出作业 管理Loader作业 Loader运维管理 Loader算子帮助 客户端工具说明 Loader常见问题
使用KafkaStreams统计数据 功能简介 以下提供High level KafkaStreams API代码样例及Low level KafkaStreams API代码样例,通过Kafka Streams读取输入Topic中的消息,统计每条消息中的单词个数,从输出Topi
--transformer-class com.huaweixxx.bigdata.hudi.examples.TransformerExample // 指定如何处理数据源拉取来的数据,可根据自身业务需求做定制 --enable-hive-sync // 开启hive同步,同步hudi表到hive --continuous
使用KafkaStreams统计数据 功能简介 以下提供High level KafkaStreams API代码样例及Low level KafkaStreams API代码样例,通过Kafka Streams读取输入Topic中的消息,统计每条消息中的单词个数,从输出Topi
Loader算子数据处理规则 在Loader导入或导出数据的任务中,每个算子对于原始数据中NULL值、空字符串定义了不同的处理规则;在算子中无法正确处理的数据,将成为脏数据,无法导入或导出。 在转换步骤中,算子数据处理规则请参见下表。 表1 数据处理规则一览表 转换步骤 规则描述
生成Flume服务端和客户端的配置文件 操作场景 该操作指导安装工程师在集群及Flume服务安装完成后,分别配置Flume服务的服务端和客户端参数,使其可以正常工作。 本章节适用于MRS 3.x及之后版本。 本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使