检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hudi在upsert时占用了临时文件夹中大量空间 问题 Hudi在upsert时占用了临时文件夹中大量空间。 回答 当UPSERT大量输入数据时，如果数据量达到合并的最大内存时，Hudi将溢出部分输入数据到磁盘。 如果有足够的内存，请增加spark executor的内存和添加“hoodie
如何重置MRS Kafka数据？ 删除Kafka topic信息即重置Kafka数据，具体命令请参考： 删除topic：kafka-topics.sh --delete --zookeeper ZooKeeper集群业务IP:2181/kafka --topic topicname
从关系型数据库导入数据到Hive表 从SFTP服务器导入数据到HDFS/OBS 从SFTP服务器导入数据到HBase 从SFTP服务器导入数据到Phoenix表 从SFTP服务器导入数据到Hive表 从FTP服务器导入数据到HDFS/OBS 从FTP服务器导入数据到HBase 从FTP服务器导入数据到Phoenix表
修改MRS集群NTP服务器 如果未配置NTP服务器或已配置的NTP不再使用，管理员可以为MRS集群重新指定或者更换新的NTP服务器，使集群从新的NTP时钟源同步时间。 本章节仅适用于MRS 3.x及以后版本。 修改MRS集群NTP服务器前提条件 请准备新的NTP服务器并获取IP地址，并设置好集群与新NTP服务器的网络。
如何查看HBase日志？ 使用root用户登录集群的Master节点。 执行su - omm命令，切换到omm用户。 执行cd /var/log/Bigdata/hbase/命令，进入到“/var/log/Bigdata/hbase/”目录，即可查看HBase日志信息。 父主题：
检查是否能从NTP服务器获取时间。 继续查看告警附加信息，是否提示不能从NTP服务器获取时间。 是，执行9。 否，执行10。 联系NTP服务器的服务商，解决NTP服务器异常。确保NTP服务器正常后检查告警是否恢复。 是，处理完毕。 否，执行10。 检查从NTP服务器获取的时间是否持续未更新。
如何修改HDFS的副本数？ 进入HDFS服务配置页面： MRS 1.8.10及之前版本，登录MRS Manager页面，具体请参见访问MRS Manager，然后选择“服务管理 > HDFS > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 MRS 1.8.10之后及2
监控指标转储配置”，查看监控转储配置页面配置的FTP用户名、密码、端口、转储模式、公钥是否与服务器端配置一致。 是，执行5。 否，执行4。 填入正确的配置信息，然后单击“确定”，并检查告警是否恢复。 是，执行完毕。 否，执行5。 单击“系统设置 > 监控指标转储配置”，查看“FT
”和“转储模式”配置项。 是FTP模式，执行6。 是SFTP模式，执行7。 以FTP方式登录服务器，在默认目录下查看相对路径“保存路径”是否有“FTP用户名”的读写权限。 是，执行9。 否，执行8。 以SFTP方式登录服务器，查看绝对路径“保存路径”是否有“FTP用户名”的读写权限。
名称：连接属性名。 值：连接属性值。 ftp-connector FTP服务器的IP FTP服务器的IP地址。 FTP服务器端口 FTP服务器的端口号。 FTP用户名 访问FTP服务器的用户名。 FTP密码 访问FTP服务器的密码。 FTP模式 设置FTP访问模式，“ACTIVE”表示主
如何查看Kudu日志？ 登录集群的Master节点。 执行su - omm命令，切换到omm用户。 执行cd /var/log/Bigdata/kudu/命令，进入到“/var/log/Bigdata/kudu/”目录，即可查看Kudu日志信息。 父主题： 组件配置类
名称：连接属性名。 值：连接属性值。 ftp-connector FTP服务器的IP FTP服务器的IP地址。 FTP服务器端口 FTP服务器的端口号。 FTP用户名 访问FTP服务器的用户名。 FTP密码 访问FTP服务器的密码。 FTP模式 设置FTP访问模式，“ACTIVE”表示主
如何查看MRS Hive元数据？ Hive的元数据存放在MRS服务集群的GaussDB中，可执行如下步骤查看： 以root用户登录到DBServer主节点。 执行以下命令登录Hive元数据库： su - omm source $DBSERVER_HOME/.dbservice_profile
如何修改Clickhouse服务的allow_drop_detached配置项? 用root用户登录Clickhouse客户端所在节点。 进入客户端目录，配置环境变量。 cd /opt/客户端安装目录 source bigdata_env 如果当前集群已启用Kerberos认证，
上传软件包。以user用户将软件包上传到将要安装Flume服务客户端的节点目录上，例如“/opt/client” user用户为安装和运行Flume客户端的用户。 解压软件包。 以user用户登录将要安装Flume服务客户端的节点。进入安装包所在目录，例如“/opt/client”，执行如下命令解压安装包到当前目录。
OdDt/yn...etM 配置多个SFTP服务器，多个服务器指定目录的数据将导入到Hive。 设置数据源信息 单击“下一步”，进入“输入设置”界面，设置数据源信息。 表2 输入设置参数 参数名 说明 示例 输入路径 SFTP服务器中源文件的输入路径，如果连接器配置多个地址此处可对应使用“
如何配置MRS集群knox内存？ 以root用户登录集群Master节点。 在Master节点执行如下命令打开gateway.sh文件。 su omm vim /opt/knox/bin/gateway.sh 将“APP_MEM_OPTS=""” 修改为 “APP_MEM_OPTS="-Xms256m
HBase双读操作相关配置项说明 表1 “hbase-dual.xml”文件配置项介绍 配置项名称 配置项说明 默认值 级别 hbase.dualclient.active.cluster.configuration.path 主集群HBase客户端配置目录 无 必选配置 hbase.dualclient
如何查看MRS集群各组件配置文件路径？ 常用组件配置文件路径如下所示： 组件 配置文件目录 ClickHouse 客户端安装路径/ClickHouse/clickhouse/config Flink 客户端安装路径/Flink/flink/conf Flume Flume客户端安
不同类型数据库定义的定界符不完全相同。 文件服务器连接 文件服务器连接包含FTP连接和SFTP连接，是Loader与文件服务器进行数据交换的通道，配置参数如表4所示。 表4 ftp-connector或sftp-connector配置 参数 说明 名称 指定一个Loader连接的名称。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
