检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
熔断规则存在统计误差,例如规则running_0004,扫描数据量阈值配置10GB,但是因为判断周期和任务并发影响,可能在15GB甚至更高才进行熔断。 熔断规则存在边界效应,例如某个Job直到最后几个task才超过阈值,在执行熔断前任务恰好完成,则无法真正取消Job。
当Sort被关闭,获取Maps输出数据以后,直接合并后输出给Reduce,避免了由于排序而浪费大量时间。这种方式极大程度地提升了大部分SQL任务的效率。
Multicast功能为例: 执行以下命令切换到客户端安装目录,配置环境变量并认证用户: cd HBase客户端安装目录 source bigdata_env kinit 组件业务用户(集群未启用Kerberos认证(普通模式)请跳过该操作) 执行以下命令登录HBase客户端,并创建表,写入数据后不要关闭
在概览页面右上角选择 “更多 > 修改数据库密码”,在弹出窗口中输入当前登录的用户密码确认身份,单击“确定”。 在“修改密码”对话框的“用户信息”中选择需要修改密码的用户名。 在“旧密码”输入旧密码,“新密码”和“确认密码”输入新密码。
各样例程序运结果如下: HBase数据读写样例运行成功会有如下信息: 2016-07-13 14:36:12,736 INFO [main] basic.CreateTableSample: Create table sampleNameSpace:sampleTable successful
集群补丁升级 现网存量运行的MRS集群,如果有大数据组件社区重大问题或者漏洞,MRS将提供对集群打补丁能力,详情请参见MRS集群补丁说明。 版本约束 集群升级到新版本后,不支持回退到老版本。 普通版集群不支持升级。
这意味着ZooKeeper服务端与客户端(ZKFC)之间数据交互失败。
约束限制: 不涉及 取值范围: LOCAL_DB:本地元数据 RDS_POSTGRES:RDS服务PostgreSQL数据库 RDS_MYSQL:RDS服务MySQL数据库 gaussdb-mysql:云数据库GaussDB(for MySQL) 默认取值: 不涉及 cluster_id
约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 database 否 String 参数解释: 执行SQL所在的数据库。
执行GaussDB(DWS)样例需提前登录GaussDB(DWS)所在节点创建用于接受数据的空表“test_lzh1”,创建命令如下: create table test_lzh1 (id integer not null); 操作步骤 安装包含Flink服务的客户端。
执行GaussDB(DWS)样例需提前登录GaussDB(DWS)所在节点创建用于接受数据的空表“test_lzh1”,创建命令如下: create table test_lzh1 (id integer not null); 操作步骤 安装包含Flink服务的客户端。
确认删除无用的文件后,等待文件在垃圾站中超过保留时间后(NameNode的配置参数“fs.trash.interval”指定了垃圾站中数据的保留时间),检查本告警是否清除。 删除文件为高危操作,在执行操作前请务必确认对应文件是否不再需要。 是,处理完毕。 否,执行9。
图2 ResourceManager Web UI页面 查看MapReduce应用运行结果数据。 当用户在Linux环境下执行yarn jar mapreduce-example.jar命令后,可以通过执行结果显示正在执行的应用的运行情况。
这意味着ZooKeeper服务端与客户端(ZKFC)之间数据交互失败。
/__spark_conf__/__hadoop_conf__/kdc.conf -Djdk.tls.ephemeralDHKeySize=2048 spark.shuffle.servicev2.port Shuffle服务监测数据获取请求的端口。
/__spark_conf__/__hadoop_conf__/kdc.conf -Djdk.tls.ephemeralDHKeySize=2048 spark.shuffle.servicev2.port Shuffle服务监测数据获取请求的端口。
拓扑提交成功后请自行登录HBase集群查看WordCount表是否有数据生成。 如果使用票据登录,则需要使用命令行定期上传票据,具体周期由票据刷新截止时间而定,步骤如下。
各样例程序运结果如下: HBase数据读写样例运行成功会有如下信息: ... 2020-09-09 22:11:48,496 INFO [main] example.TestMain: Entering testCreateTable. 2020-09-09 22:11:48,894
清理无用HBase表 在清理过程中,请谨慎操作,确保删除数据的准确性。
supervisor/metadata/[topologyid]-worker-[端口号].yaml worker日志元数据文件,logviewer在清理日志的时候会以该文件来作为清理依据。该文件会被logviewer日志清理线程根据一定条件自动删除。