检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HDFS NameNode集群地址 resourceManager Yarn ResourceManager地址 queueName 流程任务处理时使用的MapReduce队列名 dataLoadRoot 流程任务所在目录名 oozie.coord.application.path
are/hadoop/common/lib”）自带了PgSQL驱动包“gsjdbc4-*.jar”，与开源PgSQL服务不兼容导致报错。 处理步骤 用户在“pg_hba.conf”文件配置白名单。 驱动重复，集群自带，将其余驱动清除，所有Core节点上的gsjdbc4 jar包去
HDFS NameNode集群地址 resourceManager Yarn ResourceManager地址 queueName 流程任务处理时使用的MapReduce队列名 dataLoadRoot 流程任务所在目录名 oozie.coord.application.path
少。 表8 日志级别 级别 描述 FATAL FATAL表示当前事件处理出现严重错误信息，可能导致系统崩溃。 ERROR ERROR表示当前事件处理出现错误信息，系统运行出错。 WARN WARN表示当前事件处理存在异常信息，但认为是正常范围，不会导致系统出错。 INFO INFO记录系统及各事件正常运行状态信息。
/journalnode/hacluster/current”路径下最新的edits日志文件，发现告警节点与其他节点存在不同步的情况。 解决办法 登录FusionInsight Manager，选择“集群 > 服务 > HDFS > 实例”，勾选告警发生节点对应的Journalnode实例，选择“更多
节点，随后根据分布式表schema定义数据分布规则，将数据异步发送到各个shard的各个副本。整个过程数据异步发送，且数据会在一个节点临时存储，会导致网络、磁盘都会成为瓶颈，且写入成功后不一定能查询到最新一致性数据等问题。 父主题： ClickHouse宽表设计
版本号。 如果这个文件中的值大于3就会启动失败，NodeAgent会一直尝试重启该实例，此时仍会失败而且这个值每启动失败一次就会加1。 解决办法 登录Manager管理界面。 停止该DBServer实例。 使用omm用户登录到DBServer实例异常的节点。 修改“${BIGDA
算时，或者预留升级时使用。 因为预留了10%的磁盘，当磁盘使用率达到90%的时候，HDFS的DataNode即会认为没有可用磁盘空间。 解决办法 扩容，在HDFS DataNode磁盘到80%，即需要及时扩容，请参考扩容集群。扩容完成后需进行数据均衡，请参考配置HDFS DataNode数据均衡。
用户将消费完的数据存入数据库，发现数据与生产数据不一致，怀疑Kafka消费丢数据。 可能原因 业务代码原因 Kafka生产数据写入异常 Kafka消费数据异常 解决办法 Kafka排查： 通过consumer-groups.sh来观察写入和消费的offerset的变化情况（生产一定数量的消息，客户端进行消费，观察offerset的变化）。
installation. 比对主备DBServer节点/srv/BigData/dbdata_service/data目录下的配置文件发现差距比较大。 解决办法 把主节点/srv/BigData/dbdata_service/data的内容拷贝到备节点，保持文件权限和属组与主节点一样。 修改postgresql
原因分析 从报错堆栈可以看出是任务在提交过程中分片时在读取HDFS文件阶段内存溢出了，一般是由于该任务要读取的小文件很多导致内存不足。 解决办法 排查启动的MapReduce任务是否对应的HDFS文件个数很多，如果很多，减少文件数量，提前先合并小文件或者尝试使用combineIn
Broadcast：广播变量类。广播变量允许保留一个只读的变量，缓存在每一台机器上，而非每个任务保存一份复制。 StorageLevel：数据存储级别。有内存（MEMORY_ONLY），磁盘（DISK_ONLY），内存+磁盘（MEMORY_AND_DISK）等。 JavaRDD支持两
Broadcast：广播变量类。广播变量允许保留一个只读的变量，缓存在每一台机器上，而非每个任务保存一份复制。 StorageLevel：数据存储级别。有内存（MEMORY_ONLY），磁盘（DISK_ONLY），内存+磁盘（MEMORY_AND_DISK）等。 JavaRDD支持两
是否开启CheckPoint。开启后，需配置以下内容： 时间间隔（ms）：必填； 模式：必填； EXACTLY_ONCE：数据或事件仅会被算子处理一次； AT_LEAST_ONCE：数据或事件会被算子至少处理一次； 最小间隔（ms）：输入值最小为10； 超时时间：输入值最小为10； 最大并发量：正整数，且不能超过64个字符；
表，也可以采用非分区表。如果维度表的总数据量很大或者增量也很大，可以考虑采用某个业务ID进行分区，在大部分数据处理逻辑中针对大维度表，会有一定的业务条件进行过滤来提升处理性能，这类表要结合一定的业务场景来进行优化，无法从单纯的日期分区进行优化。事实表读取方式都会按照时间段切分，近
HDFS NameNode集群地址 resourceManager Yarn ResourceManager地址 queueName 流程任务处理时使用的MapReduce队列名 dataLoadRoot 流程任务所在目录名 oozie.coord.application.path
AR”时实际长度不足则空格补齐，“类型”为“VARCHAR”时实际长度不足则不补齐。 常量值：配置符合类型的常量值。 map 是 无 数据处理规则 生成指定类型的常量字段。 样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下图： 配置“增加常量字段”算子，增加两个字段C和D：
使用admintest用户登录CDL WebUI界面后，该用户可以在“作业管理界面”操作自己创建的任务： 可能原因 用户未删除Ranger策略上的“{OWNER}”权限。 处理步骤 使用admin用户登录FusionInsight Manager，选择“集群 > 服务 > Ranger”，单击“RangerAdmin
配置ClickHouse表所在的数据库。 string 是 default 表名 配置数据写入ClickHouse对应的表名。 string 是 无 数据处理规则 将字段值输出到ClickHouse表中。 样例 通过“CSV文件输入”算子，生成十二个字段。 源文件如下： 创建ClickHouse表的语句如下：
用户使用 useradd 命令来创建用户，此用户默认用户组不包含“ficommmon”用户组，导致在使用hdfs的get命令的时候出现上述报错。 处理步骤 使用命令usermod -a -G ficommon username 为用户添加用户组“ficommon”。 父主题： 使用HDFS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
