检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
”。 generic-jdbc-connector 表2 generic-jdbc-connector数据源连接属性 参数 说明 模式或表空间 表示源数据对应的数据库名称,支持通过界面查询并选择。 表名 存储源数据的数据表,支持通过界面查询并选择。 抽取分区字段 分区字段,如果需
如果要备份到HDFS,需要安装HDFS,Yarn服务。 根据业务需要,规划备份的类型、周期和策略等规格,并检查主备管理节点“数据存放路径/LocalBackup/”是否有充足的空间。 如果数据要备份至OBS中,需要当前集群已对接OBS,并具有访问OBS的权限。MRS 3.5.0及之后版本支持备份数据到OBS。 备份Flink元数据
TaskManager参数说明 参数 描述 默认值 是否必选 备注 taskmanager.memory.size TaskManager在JVM堆内存中保留空间的大小,此内存用于排序,哈希表和中间状态的缓存。如果未指定,则会使用JVM堆内存乘以比例taskmanager.memory.fraction。单位:MB。
spark.log Spark2x服务初始化日志。 prestart.log prestart脚本日志。 cleanup.log 安装卸载实例时的清理日志。 spark-availability-check.log Spark2x服务健康检查日志。 spark-service-check
bytes的值较大时,启动Clustering执行需要提高--spark-memory,否则会导致executor内存溢出。 当前clean不支持清理Clustering失败后的垃圾文件。 Clustering后可能出现新文件大小不等引起数据倾斜的情况。 cluster不支持和upsert并发。
ClickHouse不支持数据写入的事务保证。通过外部导入数据模块控制数据的幂等性,比如某个批次的数据导入异常,则drop对应的分区数据或清理掉导入的数据后,重新导入该分区或批次数据。 大批量少频次的写入。 ClickHouse的每次数据插入,都会生成一到多个part文件,如果data
慎用delete、update操作。 内容要求:建议使用CollapsingMergeTree、VersionedCollapsingMergeTree引擎或根据分区批量清理。 ClickHouse需要写本地表。 内容要求:连接balancer写入报错Request Entity Too Large。这是由于N
spark.log Spark2x服务初始化日志。 prestart.log prestart脚本日志。 cleanup.log 安装卸载实例时的清理日志。 spark-availability-check.log Spark2x服务健康检查日志。 spark-service-check
DATA_BLOCK_ENCODING 配置HFile中block块的编码方法。当一行数据中存在多列时,一般可以配置为“FAST_DIFF”,可以有效地节省数据存储的空间,从而提供性能。 NONE 父主题: HBase性能调优
单击“测试连接”,如图10 测试连接所示表示对接成功,单击“确定”。 图12 测试连接 以客户端安装用户登录安装HBase客户端的节点,执行以下命令创建新的命名空间MY_NS: cd 客户端安装目录 source bigdata_env hbase shell create_namespace "MY_NS"
NameNode的主节点重启后,之前在ZooKeeper上建立的临时节点(/hadoop-ha/hacluster/ActiveStandbyElectorLock)就会被清理。同时,NameNode备节点发现该信息后进行抢占希望升主,所以它重新在ZooKeeper上建立了active的节点/hadoop-ha/
模式,则不需要配置互信。 备集群上的时间必须与主集群一致,而且主备集群上的NTP服务必须使用同一个时间源。 检查备集群HDFS是否有充足的空间,备份文件保存的目录建议使用用户自定义的目录。 需确保主备集群中Doris和HDFS的“hadoop.rpc.protection”配置项的值保持一致。
User”下选择框选择用户。 单击“Add Permissions”,勾选“Read”。 该用户具有get,scan操作权限。 设置用户管理命名空间或表的权限 在“HBase Table”配置表名。 在“Allow Conditions”区域,单击“Select User”下选择框选择用户。
为普通模式,则不需要配置互信。 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 检查备集群HDFS是否有充足的空间,备份文件保存的目录建议使用用户自定义的目录。 备份IoTDB业务数据 在FusionInsight Manager,选择“运维 > 备份恢复
User”下选择框选择用户。 单击“Add Permissions”,勾选“Read”。 该用户具有get,scan操作权限。 设置用户管理命名空间或表的权限 在“HBase Table”配置表名。 在“Allow Conditions”区域,单击“Select User”下选择框选择用户。
server启动日志。 thrift_server_thriftServer_xxx.log.last cleanup.log 安装卸载实例时的清理日志。 flink-omm-client-IP.log 作业启动日志。 flinkserver_yyyymmdd-x.log.gz 业务归档日志。
bytes的值较大时,启动Clustering执行需要提高--spark-memory,否则会导致executor内存溢出。 当前clean不支持清理Clustering失败后的垃圾文件。 Clustering后可能出现新文件大小不等引起数据倾斜的情况。 cluster不支持和upsert并发。
集群内安装的服务较多时,集群客户端文件较大,且在安装客户端过程中解压客户端文件也会占用较多磁盘空间。建议将客户端文件下载至其他磁盘空间充足的目录下,或者在安装客户端后及时删除客户端下载目录内的冗余文件,避免“/tmp”目录所在磁盘空间被占满影响集群节点的正常运行。 如果下载位置选择“远端节点”: 文件生
DATA_BLOCK_ENCODING 配置HFile中block块的编码方法。当一行数据中存在多列时,一般可以配置为“FAST_DIFF”,可以有效地节省数据存储的空间,从而提供性能。 NONE 父主题: HBase性能调优
hdfs-set-storage-policy.log HDFS数据存储策略日志。 cleanupDetail.log HDFS服务卸载时候的清理日志。 prestartDetail.log HDFS服务启动前集群操作的记录日志。 hdfs-recover-fsimage.log NameNode元数据恢复日志。