检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设置数据保存信息并运行作业 单击“下一步”，进入“输出设置”界面，根据实际场景在“存储类型”选择“HBASE_BULKLOAD”或“HBASE_PUTLIST”，设置数据保存方式。 表3 输出设置参数 存储类型 适用场景 参数名 说明 示例 HBASE_BULKLOAD 数据量大 HBase实例
设置数据保存信息并运行作业 单击“下一步”，进入“输出设置”界面，根据实际场景在“存储类型”选择“HBASE_BULKLOAD”或“HBASE_PUTLIST”，设置数据保存方式。 表3 输出设置参数 存储类型 适用场景 参数名 说明 示例 HBASE_BULKLOAD 数据量大 HBase实例
算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”，进入“输出设置”界面，根据实际场景在“存储类型”选择“CLICKHOUSE”，设置数据保存方式。 表3 输出设置参数 存储类型 参数名 说明 示例 CLICKHOUSE ClickHouse实例 在ClickHouse作
是否开启CheckPoint。开启后，需配置以下内容： 时间间隔（ms）：必填； 模式：必填； EXACTLY_ONCE：数据或事件仅会被算子处理一次； AT_LEAST_ONCE：数据或事件会被算子至少处理一次； 最小间隔（ms）：输入值最小为10； 超时时间：输入值最小为10； 最大并发量：正整数，且不能超过64个字符；
表，也可以采用非分区表。如果维度表的总数据量很大或者增量也很大，可以考虑采用某个业务ID进行分区，在大部分数据处理逻辑中针对大维度表，会有一定的业务条件进行过滤来提升处理性能，这类表要结合一定的业务场景来进行优化，无法从单纯的日期分区进行优化。事实表读取方式都会按照时间段切分，近
版本号。 如果这个文件中的值大于3就会启动失败，NodeAgent会一直尝试重启该实例，此时仍会失败而且这个值每启动失败一次就会加1。 解决办法 登录Manager管理界面。 停止该DBServer实例。 使用omm用户登录到DBServer实例异常的节点。 修改“${BIGDA
算时，或者预留升级时使用。 因为预留了10%的磁盘，当磁盘使用率达到90%的时候，HDFS的DataNode即会认为没有可用磁盘空间。 解决办法 扩容，在HDFS DataNode磁盘到80%，即需要及时扩容，请参考扩容集群。扩容完成后需进行数据均衡，请参考配置HDFS DataNode数据均衡。
用户将消费完的数据存入数据库，发现数据与生产数据不一致，怀疑Kafka消费丢数据。 可能原因 业务代码原因 Kafka生产数据写入异常 Kafka消费数据异常 解决办法 Kafka排查： 通过consumer-groups.sh来观察写入和消费的offerset的变化情况（生产一定数量的消息，客户端进行消费，观察offerset的变化）。
installation. 比对主备DBServer节点/srv/BigData/dbdata_service/data目录下的配置文件发现差距比较大。 解决办法 把主节点/srv/BigData/dbdata_service/data的内容拷贝到备节点，保持文件权限和属组与主节点一样。 修改postgresql
原因分析 从报错堆栈可以看出是任务在提交过程中分片时在读取HDFS文件阶段内存溢出了，一般是由于该任务要读取的小文件很多导致内存不足。 解决办法 排查启动的MapReduce任务是否对应的HDFS文件个数很多，如果很多，减少文件数量，提前先合并小文件或者尝试使用combineIn
sh <path>/hbase.jks <type> <length> <alias> /<path>/hbase.jks表示生成的jks文件存储路径。 <type>表示加密的类型，支持SMS4和AES。 <length>表示密钥的长度，SMS4支持16位长度，AES支持128位长度。
HDFS NameNode集群地址 resourceManager Yarn ResourceManager地址 queueName 流程任务处理时使用的MapReduce队列名 dataLoadRoot 流程任务所在目录名 oozie.coord.application.path
配置ClickHouse表所在的数据库。 string 是 default 表名 配置数据写入ClickHouse对应的表名。 string 是 无 数据处理规则 将字段值输出到ClickHouse表中。 样例 通过“CSV文件输入”算子，生成十二个字段。 源文件如下： 创建ClickHouse表的语句如下：
用户使用 useradd 命令来创建用户，此用户默认用户组不包含“ficommmon”用户组，导致在使用hdfs的get命令的时候出现上述报错。 处理步骤 使用命令usermod -a -G ficommon username 为用户添加用户组“ficommon”。 父主题： 使用HDFS
止了，不再打印其他日志，查看Presto的其他日志也未发现原因。 原因分析 Presto的健康检查脚本的端口检查逻辑中未做好端口的区分。 处理步骤 使用工具分别登录集群的Master节点执行如下操作。 执行如下命令编辑文件。 vim /opt/Bigdata/MRS_xxx/in
AR”时实际长度不足则空格补齐，“类型”为“VARCHAR”时实际长度不足则不补齐。 常量值：配置符合类型的常量值。 map 是 无 数据处理规则 生成指定类型的常量字段。 样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下图： 配置“增加常量字段”算子，增加两个字段C和D：
使用admintest用户登录CDL WebUI界面后，该用户可以在“作业管理界面”操作自己创建的任务： 可能原因 用户未删除Ranger策略上的“{OWNER}”权限。 处理步骤 使用admin用户登录FusionInsight Manager，选择“集群 > 服务 > Ranger”，单击“RangerAdmin
入文件。 选择“FILE”，表示按文件分割源文件，即每个map处理一个或多个完整的源文件，同一个源文件不可分配至不同map，完成数据导入后保持源文件的目录结构。 选择“SIZE”，表示按大小分割源文件，即每个map处理一定大小的输入文件，同一个源文件可分割至多个map，数据保存至
使用Loader从HDFS/OBS导出数据到关系型数据库 操作场景 该任务指导用户使用Loader将数据从HDFS/OBS导出到关系型数据库。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取关系型数据库使用的用户和密码。
0及之后版本的Flink 1.12.0版本开始默认的日志框架是log4j2，配置的方式跟之前log4j的方式有区别，使用如log4j日志规则不会生效。 处理步骤 Log4j2详细日志规格配置参考开源官方文档：http://logging.apache.org/log4j/2.x/manual/configuration
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
