检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何查看System.out.println打印的调试信息或将调试信息输出至指定文件 问题 Flink业务代码中添加了System.out.println调试信息打印,该如何查看此调试日志?避免与运行日志混在一起打印,如何将业务日志单独输出至指定文件? 回答 Flink所有的运行
ase-omm-xxx.log”),出现如下异常,The DiskSpace quota of /hbase is exceeded。 解决办法 通过后台使用df -h命令查看数据盘目录空间已满,因此需要删除无用的数据来进行应急恢复。 后续需要扩容节点来解决数据目录空间不足问题。
Spark2x如何访问外部集群组件 对同一目录创建多个外表,可能导致外表查询失败 访问Spark2x JobHistory中某个应用的原生页面时页面显示错误 对接OBS场景中,spark-beeline登录后指定loaction到OBS建表失败 Spark shuffle异常处理 Spa
version文件,但是日志显示读取存在异常。 通过hadoop fs -cat /hbase/hbase.version命令发现文件不能正常查看,该文件损坏。 解决办法 执行hbase hbck -fixVersionFile命令修复文件。 如1不能解决,从同版本的其他集群中获取hbase.version文件上传进行替换。
Storm组件的Storm UI页面中events超链接地址无效。 问题现象 用户提交拓扑后无法查看拓扑数据处理日志,按钮events地址无效。 原因分析 MRS集群提交拓扑时默认不开启拓扑数据处理日志查看功能。 处理步骤 进入服务页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理”。
宽的利用率不足,因此存在性能提升空间。使用成熟的向量化的c++加速库后,数据采用向量化格式存在内存中,可以提高带宽利用率,并通过批量的列数处理获得加速效果。 通过开启Spark Native引擎特性,获得SparkSQL的性能加速。 使用约束 Scan算子当前支持的数据类型为:B
Kafka常见问题 Kafka业务规格说明 Kafka相关特性说明 基于binlog的MySQL数据同步到MRS集群中 如何解决Kafka topic无法删除的问题 父主题: 使用Kafka
Kafka常见问题 Kafka业务规格说明 Kafka相关特性说明 基于binlog的MySQL数据同步到MRS集群中 如何解决Kafka Topic无法删除的问题 父主题: 使用Kafka
恢复数据后可能导致元数据与业务数据无法匹配,HDFS进入安全模式且HDFS服务启动失败。 前提条件 如果需要从远端HDFS恢复数据,需要准备备集群,且已完成数据备份,详细操作请参见备份HDFS NameNode元数据。如果主集群部署为安全模式,且主备集群不是由同一个FusionInsight
Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,应用失败 问题 Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,执行应用时显示如下异常。
1.2-LTS.0.3补丁基本信息 表1 补丁基本信息 补丁号 MRS 3.1.2-LTS.0.3 发布时间 2022-12-08 安装前处理 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 解决的问题 MRS 3.1.2-LTS.0.3 修复问题列表:
加载Impala数据 功能简介 本小节介绍了如何使用Impala SQL向已有的表employees_info中加载数据。从本节中可以掌握如何从集群中加载数据。 样例代码 -- 从本地文件系统/opt/impala_examples_data/目录下将employee_info.
加载Impala数据 功能简介 本小节介绍了如何使用Impala SQL向已有的表employees_info中加载数据。从本节中可以掌握如何从集群中加载数据。 样例代码 -- 从本地文件系统/opt/impala_examples_data/目录下将employee_info.
磁盘或其他存储介质问题导致merge过慢或者中止。 登录Manager页面,检查是否存在磁盘容量不足或其他磁盘告警,如果存在,请按照告警指导处理。 如果是磁盘容量不足,也可以联系客户删除部分过期数据,释放空间,快速恢复业务。 Zookeeper异常导致merge无法正常执行。 登录
对应大数据组件MRS-Kafka。 实时流处理引擎:从Kafka实时读取数据并进行复杂的实时计算,将结果送到下游,可以实现毫秒级的实时流式处理,对应大数据组件MRS-FlinkSQL。 离线数据湖:针对业务系统的离线数据进行统一归集和处理,进行贴源数据加工。 OLAP实时分析:D
、删除数据、插入数据、更新数据以及授权他人访问HBase表。 本章节适用于MRS 3.x及之后版本。 仅开启了Kerberos认证的集群(安全模式)支持创建HBase角色。 如果当前组件使用了Ranger进行权限控制,须基于Ranger配置相关策略进行权限管理,具体操作可参考添加HBase的Ranger访问权限策略。
FORMAT CSV" < /opt/data 数据表需提前创建好。 CSV格式数据导出 导出数据为CSV格式的文件,可能存在CSV注入的安全风险,请谨慎使用。 clickhouse client --host 主机名/ClickHouse实例IP地址 --database 数据库名
计分析。JDBCServer包含一个长时运行的Spark任务,在beeline中执行的语句都会交给该任务执行。 开启Kerberos认证的安全集群启动示例: cd $SPARK_HOME/bin ./beeline -u 'jdbc:hive2://ha-cluster/default;user
'dorisuser'@'%' IDENTIFIED BY 'password' DEFAULT ROLE 'dorisrole'; 命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 配置运行环境网络 用于程序调测或运行的节点,需要与MRS集群内
RDS服务MySQL数据库名。 user :RDS服务MySQL数据库用户名。 password:RDS服务MySQL数据库用户密码,命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 MySQL引擎使用示例: 连接到RDS服务的MySQL数据库。