检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过Sqoop读取MySQL数据并写parquet文件到OBS时失败 用户问题 通过Sqoop读取MySQL数据，然后直接写到OBS，指定parquet格式时写入报错，不指定parquet时不报错。 问题现象 原因分析 parquet格式不支持hive3，用Hcatalog方式写入。
产生告警的主机名。 对系统的影响 OMS数据库主备不同步会导致主数据库上的数据无法正常同步至备数据库，在告警上报时间段若主实例异常可能会导致用户业务数据丢失或者Manager页面数据显示异常。 可能原因 主备节点网络不稳定。 备OMS数据库异常。 备节点磁盘空间满。 处理步骤 检查主备节点网络是否正常。
101.10:21007 单击“导出”，将配置文件“properties.properties”保存到本地。 上传配置文件。 登录FusionInsight Manager，选择“集群 > 服务 > Flume”，在“实例”下单击准备上传配置文件的“Flume”角色，单击“实例配置 ”页面“flume
101.10:21007 单击“导出”，将配置文件“properties.properties”保存到本地。 上传配置文件。 登录FusionInsight Manager，选择“集群 > 服务 > Flume”，在“实例”下单击准备上传配置文件的“Flume”角色，单击“实例配置 ”页面“flume
使用Flume服务端从本地采集动态日志保存到HDFS 操作场景 该任务指导用户使用Flume服务端从本地采集动态日志保存到HDFS上“/flume/test”目录下。 本章节适用于MRS 3.x及之后版本。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使
使用Flume客户端从Kafka采集日志保存到HDFS 操作场景 该任务指导用户使用Flume客户端从Kafka客户端的Topic列表(test1)采集日志保存到HDFS上“/flume/test”目录下。 本章节适用于MRS 3.x及之后版本。 本配置默认集群网络环境是安全的，
同步数据具体内容如下。 配置MySQL 安装Maxwell 配置Maxwell 启动Maxwell 验证Maxwell 停止Maxwell Maxwell生成的数据格式及常见字段含义 配置MySQL 开启binlog，在MySQL中打开my.cnf文件，在[mysqld] 区块检查是否配
ClickHouse数据库开发 ClickHouse数据入库工具 ClickHouse数据入库规范 ClickHouse数据查询 ClickHouse数据库应用开发 父主题： ClickHouse应用开发规范
用数据库连接器来说，导出、导入速度更快。 使用mysql-fastpath-connector时，要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令，并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容，如果没有这两个命令或版本不兼容，请参考http://dev
据连接类型为“RDS服务MySQL数据库”，数据连接实例选择已创建的数据连接实例，或单击“创建数据连接”新创建一个数据连接。 图2 使用RDS服务MySQL数据库 当用户选择的数据连接为“RDS服务MySQL数据库”时，请确保使用的数据库用户为root用户。如果为非root用户，
“TEXT_FILE”：导入文本文件并保存为文本文件。 “SEQUENCE_FILE”：导入文本文件并保存在sequence file文件格式。 “BINARY_FILE”：以二进制流的方式导入文件，可以导入任何格式的文件，不对文件做任何处理。 说明： 文件类型选择“TEXT_FILE”或
tor、mysql-fastpath-connector），专用数据库连接器特别针对具体数据库类型进行优化，相对通用数据库连接器来说，导出、导入速度更快。 使用mysql-fastpath-connector时，要求在NodeManager节点上有MySQL的mysqldump和
ClickHouse数据库应用开发 在ClickHouse的使用过程中，由于使用不规范的方式访问和查询，导致业务失败的情况时有发生。此外，偶尔也会发生因为网络闪断等导致连接和查询失败的情况。 MRS提供了ClickHouse的样例代码工程，旨在提供连接重试机制和规范化用户连接和查
SHOW显示数据库和表信息 本章节主要介绍ClickHouse显示数据库和表信息的SQL基本语法和使用说明。 基本语法 show databases show tables 使用示例 --查询数据库 show databases; ┌─name────┐ │ default
my.cnf [mysqld] server_id=1 log-bin=master binlog_format=row Maxwell需要连接MySQL，并创建一个名称为maxwell的数据库存储元数据，且需要能访问需要同步的数据库，所以建议新创建一个MySQL用户专门用来给M
使用多级agent串联从本地采集静态日志保存到HDFS 操作场景 该任务指导用户使用Flume从本地采集静态日志保存到HDFS上如下目录“/flume/test”。 本章节适用于MRS 3.x及之后版本。 前提条件 已成功安装集群、HDFS及Flume服务、Flume客户端。 已
服务审计日志每天凌晨3点自动压缩存储到主管理节点“/var/log/Bigdata/audit/bk/”，保存的文件名格式为<yyyy-MM-dd_HH-mm-ss>.tar.gz。默认情况下，保存的文件个数为7份（即7天的日志），超过7份文件时会自动删除7天前的文件。 管理审计日志每次导
用数据库连接器来说，导出、导入速度更快。 使用mysql-fastpath-connector时，要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令，并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容，如果没有这两个命令或版本不兼容，请参考http://dev
Sqoop读取MySQL数据到HBase时报HBaseAdmin.<init>方法找不到异常 问题 使用MRS的Sqoop客户端（1.4.7版本），从MySQL数据库中指定表抽取数据，存放到HBase（2.2.3版本）指定的表中，报出异常： Trying to load data
数据连接类型。 约束限制： 不涉及 取值范围： RDS_POSTGRES：RDS服务PostgreSQL数据库 RDS_MYSQL：RDS服务MySQL数据库 gaussdb-mysql：云数据库GaussDB(for MySQL) 默认取值： 不涉及 source_info 是
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
