检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检查Kafka数据的磁盘配置。 在FusionInsight Manager管理界面,选择“运维 > 告警 > 告警”。 在告警列表中单击该告警,从“定位信息”中获得主机名。 选择“集群 > 待操作集群的名称 > 主机”。 在“主机”页面单击2中获取的主机名称。 检查“磁盘”区域中是否包含该告警中的磁盘分区名称。
463 INFO [main] Exit main. rest.UserManager.main(UserManager.java:120) 从日志信息中可以看到:执行UserManager类中的main方法时,依次调用loginAndAccess、sendHttpPostReque
要重构的时候执行。 HConnectionManager#deleteAllConnections: 这个可能会导致现有的正在使用的连接被从连接集合中清理掉,同时,因为在HTable中保存了原有连接的引用,可能会导致这个连接无法关闭,进而可能会造成泄漏。因此,这个方法不建议使用。
CreateTime/StartTime/FinishTime: 作业的创建时间、开始调度时间和结束时间。 Timeout 作业超时时间,单位是秒,该时间从CreateTime开始计算。 ErrorMsg 如果作业出现错误,ErrorMsg会显示错误原因。 取消导出任务 提交作业后,可以通过CA
安全加固后是否启用:是 dfs.datanode.port 9866 25009 Datanode数据传输端口。 该端口用于: HDFS客户端从DataNode传输数据或传输数据到DataNode。 点对点的Datanode传输数据。 说明: 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。
TaskManager注册连接被JobManager拒绝后的重试间隔。单位:ms/s/m/h/d。 10 s 否 classloader.resolve-order 从用户代码加载类时定义类解析策略,这意味着是首先检查用户代码jar(“child-first”)还是应用程序类路径(“parent-first
基础:需配置“默认资源池容量 (%)”,配置当前租户在“default”资源池中使用的计算资源百分比。 高级:需配置如下参数。 权重:资源分配权重,取值范围从0到100。租户资源占比=租户权重/同级别租户总权重之和。 最小资源:保证租户能获得的资源(有抢占支持)。取值可以是父租户资源的百分比或绝对
int实现容错,用户可以自定义对整个任务的Checkpoint策略,当任务出现失败时,可以将任务恢复到最近一次Checkpoint的状态,从数据源重发快照之后的数据。 Savepoint:一个Savepoint就是应用状态的一致性快照,Savepoint与Checkpoint机制
controller/aos/aos.log ${BIGDATA_LOG_HOME}/controller/aos/plugin.log 从Capacity调度器切换到Superior调度器 对系统的影响 调度器切换过程中,由于要重启Resource Manager,因此切换期间向Yarn提交任务会失败。
如果是初次使用Maxwell,建议将conf/config.properties中的log_level改为debug(调试级别),以便观察启动之后是否能正常从MySQL获取数据并发送到kafka,当整个流程调试通过之后,再把log_level修改为info,然后先停止再启动Maxwell生效。 #
ntpd start或systemctl restart ntpd命令启动NTP服务。 执行ntpstat命令查看时间同步结果。 参考以下步骤,从FusionInsight Manager下载集群客户端软件包并复制到ECS节点后安装客户端。 访问集群Manager,参考集群内节点安装客
如果是初次使用Maxwell,建议将conf/config.properties中的log_level改为debug(调试级别),以便观察启动之后是否能正常从MySQL获取数据并发送到kafka,当整个流程调试通过之后,再把log_level修改为info,然后先停止再启动Maxwell生效。 #
*?"<>|;&,'`!{}[]$%+ 不能超过255个字节 默认取值: 不涉及 offset 否 String 参数解释: 分页参数,表示从该偏移量开始查询文件列表。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 1 limit 否 String 参数解释: 分页参数,列表当前分页的数量限制。
实例所属租户,新建计算实例只能选择无计算实例的租户。 在“所属租户”下拉列表中选取。 实例部署超时时间(秒) 通过Yarn Service部署启动计算实例的超时时间。从启动计算实例开始计时,当超过该时间后,如果计算实例仍在“创建中”或“启动中”,则该计算实例状态会显示为“错误”,同时会停止Yarn上正在创建或启动中的计算实例。
oreFlusher线程。该线程定期检查写操作内存,当写操作占用内存总量达到阈值,MemStoreFlusher将启动flush操作,按照从大到小的顺序,flush若干相对较大的memstore,直到所占用内存小于阈值。 阈值 = “hbase.regionserver.global
to_base) conv(string num, int from_base, int to_base) 对num做进制转换操作,示例为从10进制转为2进制 select conv('123',10,2); -- 1111011 rand() → double 返回0到1之间的随机小数
oreFlusher线程。该线程定期检查写操作内存,当写操作占用内存总量达到阈值,MemStoreFlusher将启动flush操作,按照从大到小的顺序,flush部分相对较大的MemStore,直到所占用内存小于阈值。 阈值 = “hbase.regionserver.global
了解可能存在的风险,并接受对集群可能造成的异常或影响。”,单击“确定”。 HDFS路径:选择“/tmp/test”,单击“确定”。 图5 从OBS导入数据到HDFS 单击“确定”,等待数据导入成功,此时数据文件已上传至MRS集群的HDFS文件系统内。 图6 数据导入成功 步骤3:创建Hive表
首次安装客户端会生成名为flume-client的子目录,之后安装会依次生成名为“flume-client-n”的子目录,n代表一个序号,从1依次递增。在Flume客户端安装目录下的conf目录中,编辑ENV_VARS文件,搜索FLUME_LOG_DIR属性,可查看客户端日志路径。
如某个文件的数据块的2个副本放置在标签L1对应节点中,该数据块的其他副本放置在标签L2对应的节点中。 支持选择节点失败情况下的策略,如随机从全部节点中选一个。 如图7所示。 /HBase下的数据存储在A,B,D /Spark下的数据存储在A,B,D,E,F /user下的数据存储在C,D,F