检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SELECT查询表数据 本章节主要介绍ClickHouse查询表数据的SQL基本语法和使用说明。 基本语法 SELECT [DISTINCT] expr_list [FROM [database_name.]table | (subquery) | table_function]
如何重置MRS Kafka数据? 删除Kafka topic信息即重置Kafka数据,具体命令请参考: 删除topic:kafka-topics.sh --delete --zookeeper ZooKeeper集群业务IP:2181/kafka --topic topicname
说明 import 数据导入到集群 export 集群数据导出 codegen 获取数据库中某张表数据生成Java并打包jar create-hive-table 创建Hive表 eval 执行sql并查看结果 import-all-tables 导入某个数据库下的所有表到HDFS中
分析Hive数据 功能介绍 本小节介绍了如何使用样例程序完成分析任务。样例程序主要有以下方式。 使用JDBC接口提交数据分析任务。 使用HCatalog接口提交数据分析任务。 样例代码 使用Hive JDBC接口提交数据分析任务,参考样例程序中的JDBCExample.java。
数据序列化 操作场景 Spark支持两种方式的序列化 : Java原生序列化JavaSerializer Kryo序列化KryoSerializer 序列化对于Spark应用的性能来说,具有很大的影响。在特定的数据格式的情况下,KryoSerializer的性能可以达到JavaS
UDF功能的权限控制机制 问题 SparkSQL中UDF功能的权限控制机制是怎样的? 回答 目前已有的SQL语句无法满足用户场景时,用户可使用UDF功能进行自定义操作。 为确保数据安全以及UDF中的恶意代码对系统造成破坏,SparkSQL的UDF功能只允许具备admin权限的用户注册,由admin用户保证自定义的函数的安全性。
UDF功能的权限控制机制 问题 SparkSQL中UDF功能的权限控制机制是怎样的? 回答 目前已有的SQL语句无法满足用户场景时,用户可使用UDF功能进行自定义操作。 为确保数据安全以及UDF中的恶意代码对系统造成破坏,SparkSQL的UDF功能只允许具备admin权限的用户注册,由admin用户保证自定义的函数的安全性。
UDF功能的权限控制机制 问题 SparkSQL中UDF功能的权限控制机制是怎样的? 回答 目前已有的SQL语句无法满足用户场景时,用户可使用UDF功能进行自定义操作。 为确保数据安全以及UDF中的恶意代码对系统造成破坏,SparkSQL的UDF功能只允许具备admin权限的用户注册,由admin用户保证自定义的函数的安全性。
登录安装了MySQL的节点,执行以下命令,连接Doris数据库。 若集群已启用Kerberos认证(安全模式),需先执行以下命令再连接Doris数据库: export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1 直接连接FE节点访问Doris数据库: mysql
备份ClickHouse业务数据 操作场景 为了确保ClickHouse日常用户的业务数据安全,或者集群用户需要对ClickHouse进行重大操作(如升级或迁移等),需要对ClickHouse数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 集
建议一个恢复任务只恢复一个组件的元数据,避免因停止某个服务或实例影响其他组件的数据恢复。同时恢复多个组件数据,可能导致数据恢复失败。 HBase元数据不能与NameNode元数据同时恢复,会导致数据恢复失败。 对系统的影响 数据恢复后,会丢失从备份时刻到恢复时刻之间的数据。 恢复数据后需要重启Name
在Hudi侧执行DDL变更,修改数据类型string为decimal: ALTER TABLE ddltest ALTER COLUMN string TYPE decimal(20,10); 在源数据库中插入数据,数据可以正常写入Hudi。 在源数据库侧,将数据类型VARCHAR修改为NUMBER。
'url' = 'jdbc:mysql://MySQL的服务器IP:MySQL的服务器端口/mysql', 'table-name' = 'customer_t1', 'username' = 'username', --连接MySQL数据库的用户名 'password'
为什么对decimal数据类型进行带过滤条件的查询时会出现异常输出? 问题 当对decimal数据类型进行带过滤条件的查询时,输出结果不正确。 例如, select * from carbon_table where num = 1234567890123456.22; 输出结果:
使用CDL从PgSQL同步数据到Kafka 操作场景 本章节指导用户通过MRS 3.2.0版本开启Kerberos认证的集群的CDLService WebUI界面,从PgSQL导入数据到Kafka。 前提条件 集群已安装CDL、Kafka服务且运行正常。 PostgreSQL数据库需要修改预写日志
数据导出 概述 使用Loader导出数据 典型场景:从HDFS/OBS导出数据到SFTP服务器 典型场景:从HBase导出数据到SFTP服务器 典型场景:从Hive导出数据到SFTP服务器 典型场景:从HDFS/OBS导出数据到关系型数据库 典型场景:从HBase导出数据到关系型数据库
PARTITION partition_name; 禁止修改索引列 对索引列的修改会导致现有索引失效,触发重建索引,期间查询数据不准确。 如果业务场景必须修改索引列,推荐用ReplacingMergeTree引擎建表,使用数据写入+去重引擎代替数据更新场景:https://clickhouse
产生告警的元素类型。 ComponentName 产生告警的元素名称。 对系统的影响 如果数据源有数据,Flume Source持续读取不到数据,数据采集会停止。 可能原因 Flume Source故障,导致数据无法发送。 网络故障,导致数据无法发送。 处理步骤 检查Flume Source是否故障。
数据导入 概述 使用Loader导入数据 典型场景:从SFTP服务器导入数据到HDFS/OBS 典型场景:从SFTP服务器导入数据到HBase 典型场景:从SFTP服务器导入数据到Hive 典型场景:从FTP服务器导入数据到HBase 典型场景:从关系型数据库导入数据到HDFS/OBS
数据写入 写入更新数据时报错 Parquet/Avro schema 写入更新数据时报错UnsupportedOperationException 写入更新数据时报错SchemaCompatabilityException Hudi在upsert时占用了临时文件夹中大量空间 Hudi写入小精度Decimal数据失败