检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
保存元数据。 外置数据连接:MRS集群创建完成后,可选择关联与当前集群同一虚拟私有云和子网的RDS服务中的PostgresDB或MySQL数据库或云数据库GaussDB(for MySQL)、也可以选择与当前集群同一虚拟私有云和子网的LakeFormation实例,元数据将存储于
安装补丁过程包括组件重启,支持滚动重启和离线重启,请选择合适的方法。重启过程不能省略。 补丁安装后操作不能省略,若没有执行此操作,会影响Spark、HDFS、Flink等组件的补丁生效,会导致Spark client模式的作业运行失败。 安装补丁流程 补丁安装流程如图1所示。 图1 安装补丁流程 父主题:
参数解释: 数据源类别。 约束限制: 不涉及 取值范围: RDS_POSTGRES:RDS服务PostgreSQL数据库 RDS_MYSQL:RDS服务MySQL数据库 gaussdb-mysql:云数据库GaussDB(for MySQL) 默认取值: 不涉及 connector_name
Hudi常见问题 写入更新数据时报错Parquet/Avro schema 写入更新数据时报错UnsupportedOperationException 写入更新数据时报错SchemaCompatabilityException Hudi在upsert时占用了临时文件夹中大量空间
备份Doris数据 登录安装了MySQL的节点,执行以下命令,连接Doris数据库。 如果集群已启用Kerberos认证(安全模式),需先执行以下命令再连接Doris数据库: export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1 mysql -u数据库登录用户
ault队列。 查看Executor日志(主Master节点的“/var/log/executor/exe.log”),发现是由于提交Flink作业用户的密码改变或者过期导致下载用户keytab认证文件失败,最终导致作业未提交到launcher-job队列。 处理步骤 重置提交作业用户的密码。
put(List<FSPut> fsPuts) 向HFS表中批量插入数据 FSResult get(FSGet fsGet) 从HFS表中读取数据 FSResult[] get(List<FSGet> fsGets) 从HFS表中读取多行数据 void delete(FSDelete fsDelete)
操作前确认该操作的必要性,操作时确保同一时间无其它管理维护操作。 Flink 修改Flink日志级别 如果修改为DEBUG,会影响任务运行性能。 修改前确认操作的必要性,并及时修改回默认设定。 修改Flink文件权限 该操作可能导致任务运行失败。 修改前确认操作的必要性。 Flume
查询OpenTSDB数据 功能简介 使用OpenTSDB的查询接口(/api/query)读取数据。 函数genQueryReq()生成查询请求,函数queryData()把查询请求发送到OpenTSDB服务端。 样例代码 以下代码片段在com.huawei.bigdata.opentsdb
"lid01", "lid02", "lid03" })); } 写文件,写文件前必须创建对应的group 样例:写入testfile.txt文件。 /** * 创建并写入文件 * * @throws java.io.IOException */ private static
"lid01", "lid02", "lid03" })); } 写文件,写文件前必须创建对应的group 样例:写入testfile.txt文件。 /** * 创建并写入文件 * * @throws java.io.IOException */ private static
"lid01", "lid02", "lid03" })); } 写文件,写文件前必须创建对应的group 样例:写入testfile.txt文件。 /** * 创建并写入文件 * * @throws java.io.IOException */ private static
"lid01", "lid02", "lid03" })); } 写文件,写文件前必须创建对应的group 样例:写入testfile.txt文件。 /** * 创建并写入文件 * * @throws java.io.IOException */ private static
开源confluent-kafka-go连接MRS安全集群 MRS集群周期备份任务执行失败 MRS集群客户端无法下载 开启Kerberos认证的MRS集群提交Flink作业报错 通过Hive beeline命令行执行插入命令的时候报错 MRS集群节点如何进行操作系统漏洞升级 使用CDM服务迁移数据至MRS
的容错性。 Sink 数据输出,Sink要支持幂等性写入操作,不同的sink有不同的容错性。 outputMode 结果输出模式,当前支持3种输出模: Complete Mode:整个更新的结果集都会写入外部存储。整张表的写入操作将由外部存储系统的连接器完成。 Append Mo
查看Spark任务日志失败 Spark Streaming任务提交问题 Spark连接其他服务认证问题 Spark连接Kafka认证错误 SparkSQL读取ORC表报错 Spark WebUI页面上stderr和stdout无法跳转到日志页面 spark-beeline查询Hive视图报错 Spark
在MapReduce作业的提交阶段,将数据从临时表迁移到正式表中。 数据导出到文件系统 在MapReduce作业的Map阶段,从HDFS或者HBase中抽取数据,然后将数据写入到文件服务器临时目录中。 在MapReduce作业的提交阶段,将文件从临时目录迁移到正式目录。 Loader的架构和详细原理介绍,请参见:https://sqoop
ClickHouse常用SQL语法 CREATE DATABASE创建数据库 CREATE TABLE创建表 INSERT INTO插入表数据 Delete轻量化删除表数据 SELECT查询表数据 ALTER TABLE修改表结构 ALTER TABLE修改表数据 DESC查询表结构
'2022-04-22'); 登录安装了MySQL的节点,执行以下命令,连接Doris数据库。 如果集群已启用Kerberos认证(安全模式),需先执行以下命令再连接Doris数据库: export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1 mysql -u数据库登录用户
Kafka常见问题 Kafka业务规格说明 Kafka相关特性说明 基于binlog的MySQL数据同步到MRS集群中 如何解决Kafka topic无法删除的问题 父主题: 使用Kafka