检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
split(",").map(_.trim) assert(filePaths.length > 0) // windowTime设置窗口时间大小,默认2分钟一个窗口足够读取文本内的所有数据了 val windowTime = ParameterTool.fromArgs(args)
t env = StreamExecutionEnvironment.getExecutionEnvironment(); // 设置并发度 env.setParallelism(1); // 解析运行参数 ParameterTool paraTool
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Kafka可用内存不足,会造成内存溢出导致Broker实例崩溃,影响该Broker正常提供读写服务。 可能原因 该节
RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 系统可能无法正常写入数据,导致部分数据丢失。 可能原因 Hive使用HDFS容量上限过小。 系统磁盘空间不足。 部分数据节点瘫痪。
KAFKA_HEAP_OPTS Kafka启动Broker时使用的jvm选项。建议根据业务需要进行设置。 -Xmx6G -Xms6G auto.create.topics.enable 是否自动创建Topic,若参数设置为false,发消息前需要通过命令创建Topic。 true default.replication
'2019-11-22 23:28:39' put 'hbase_table','4','info:valid','1' 上述数据的modify_time列可设置为当前时间之前的值。 put 'hbase_table','5','info:modify_time','2021-03-03 15:20:39'
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 JDBCServer2x进程堆内存使用率过高,会影响JDBCServer2x进程运行的性能,甚至造成内存溢出导致JD
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 JDBCServer2x进程直接内存使用率过高,会影响JDBCServer2x进程运行的性能,甚至造成内存溢出导致J
配置“enable.advertised.listener”参数值为“true”。 说明: 安装Kafka服务时,此参数初始化配置不能设置为“true”,设置为“true”的前提条件是Broker实例和ZooKeeper必须处于正常运行状态。 advertised.broker.id.ip
用的端口号,默认值为“445”。 “用户名”:填写配置CIFS协议时设置的用户名。 “密码”:填写配置CIFS协议时设置的密码。 “服务器共享路径”:填写用户配置的NAS服务器共享目录。(服务器共享路径不能设置为根目录,且共享路径的用户组和属组必须为nobody:nobody)
writer_open_rpc_timeout_sec”,参数值为RPC超时时间,默认值为“60”,可适当调大该参数值,例如,可将该参数值设置为“300”。 单击“实例”,勾选所有的BE实例,选择“更多 > 重启实例”,重启BE实例。 父主题: Doris常见问题
用户名 产生告警的用户名称。 附加信息 ThreshHoldValue 系统当前指标取值满足自定义的告警设置条件的门限值。 CurrentValue 系统当前指标取值满足自定义的告警设置条件的当前值。 对系统的影响 Flink作业的CheckPoint连续失败,超过阈值后Flink作业
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 JobHistoryServer进程的垃圾回收时间过长,可能影响该JobHistoryServer进程正常提供服务。
功能,此时当DataNode数量满足“dfs.namenode.decommission.force.replication.min”参数设置的值时,可以执行退服,系统将同时执行退服和添加HDFS副本数的操作。快速退服期间如果有写入数据操作,可能导致数据丢失,请谨慎操作。快速退服
证,如果是首次认证,需要输入默认密码,并修改密码: kinit hbase 如果集群未启用Kerberos认证(普通模式),则执行以下命令设置Hadoop用户名: export HADOOP_USER_NAME=hbase 执行以下命令创建一个HDFS中不存在的备份目录,例如“/tmp/hbase_bak”:
配置文件和目录数量配额。 存储空间配额 配置当前租户使用的HDFS存储空间配额。 取值范围:当存储空间配额单位设置为MB时,范围为1~8796093022208。当存储空间配额单位设置为GB时,范围为1~8589934592。 此参数值表示租户可使用的HDFS存储空间上限,不代表一定使用了这么多空间。
配置”,单击“全部配置”,搜索以下参数。 参数 说明 默认值 spark.history.store.path JobHistory缓存历史信息的本地目录,如果设置了此配置,则JobHistory会将历史应用数据缓存在本地磁盘而不是内存中 ${BIGDATA_HOME}/tmp/spark2x_JobHistory
Timeout或者SocketTimeout Exception异常。 调优建议: 将ZooKeeper实例个数调整为5个及以上,可以通过设置peerType=observer来增加observer的数目。 通过控制单个任务并发的map数或减少每个节点下运行task的内存,降低节点负载。
"/tmp/hudi/h1"; 注意事项 对表执行clean操作时需要表的owner才可以执行。 如果需要修改clean默认的参数,需要在执行前以set方式设置好需要保留的commit数等参数。 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: Hudi DML语法说明
found”。该问题原因是操作系统的GLIBCXX版本较低,导致该特性依赖的libnativetask.so.1.0.0库无法加载,进而导致任务失败。 规避手段: 设置配置项mapreduce.job.map.output.collector.class的值为org.apache.hadoop.mapred