检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
说是一个原子操作,生产消息和提交偏移量同时成功或者失败,此特性提供的是read committed隔离级别的事务,保证多条消息原子性的写入到目标分区,同时也能保证Consumer只能看到成功提交的事务消息。Kafka中的事务特性主要用于以下两种场景: 生产者发送多条数据可以封装在
码解压目录中“src\storm-examples”目录下的样例工程文件夹storm-examples并将storm-examples导入到IntelliJ IDEA开发环境,参见准备Storm应用开发环境。 在Linux环境下安装Storm客户端。 集群的Master节点或者C
说是一个原子操作,生产消息和提交偏移量同时成功或者失败,此特性提供的是read committed隔离级别的事务,保证多条消息原子性的写入到目标分区,同时也能保证Consumer只能看到成功提交的事务消息。Kafka中的事务特性主要用于以下两种场景: 生产者发送多条数据可以封装在
修改密码时,不允许使用最近N次使用过的密码,N=1~5,默认为“1”。 此策略只影响“人机”用户。 密码失效提前提醒天数 5 表示提醒密码失效到密码真正失效的天数,提前一段时间提醒密码即将失效。设置后,若集群时间和该用户密码失效时间的差小于该值,则说明用户进入密码失效提醒期。用户登录
/etc/sysctl.conf | grep net.ipv4.ip_forward 系统查询到“net.ipv4.ip_forward=1”表示已配置转发,则请执行9。 系统查询到“net.ipv4.ip_forward=0”表示未配置转发,则请执行8。 系统查询不到“net
执行以下命令解压安装文件包: tar -xvf /opt/MRS_Services_ClientConfig.tar 执行如下命令安装客户端到指定目录(绝对路径),例如“/opt/client”。目录会自动创建。 cd /opt/MRS_Services_ClientConfig sh
crash,可能会导致集群短暂的不可用。 可能原因 相关进程发生crash。 处理步骤 以下解析查看core文件堆栈信息的操作有可能会涉及到用户的敏感数据,开发或运维人员必须在获得用户授权的情况下才能进行操作。 告警所产生的core文件系统默认保留72小时,文件保存超时或者大小超
ClientIP所在主机,执行以下命令切换root用户。 sudo su - root 执行ping Flume Server IP地址命令,检查Flume Client到Flume Server的网络是否正常。 是,执行2.a。 否,执行4。 检查Flume Client端进程故障。 登录告警定位参数中描述的Flume
> 告警 > 告警”在告警列表中,打开告警下拉页面,获取告警原因。 如果告警原因是“提交任务失败”,则查看“附加信息”中的错误细节信息,同时到Loader界面查看该任务的历史执行记录。 admin用户默认不具备其他组件的管理权限,如果访问组件原生界面时出现因权限不足而打不开页面或内
SparkStreaming批量写入HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用streamBulkPut接口将流数据写入Hbase表中。 数据规划 在客户端执行hbase shell进入HBase命令行。 在HB
ALM-16004 Hive服务不可用 告警解释 系统每60秒周期性检测Hive服务状态。当Hive服务不可用时产生该告警。 当Hive服务恢复时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 16004 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。
费,集群欠费后有保留期。您续费后解冻集群,可继续正常使用,请注意在保留期进行的续费,是以原到期时间作为生效时间,您应当支付从进入保留期开始到续费时的服务费用。详细介绍请参见欠费说明。 停止计费 MRS集群删除或退订后不再产生费用。详细介绍请参见停止计费。 成本管理 您可以从成本构
分区过多也存在潜在影响,例如文件句柄增加、不可用性增加(如:某个节点故障后,部分Partition重选Leader后时间窗口会比较大)及端到端时延增加等。 建议:单个Partition的磁盘占用最大不超过100GB;单节点上Partition数目不超过3000;整个集群的分区总数不超过10000。
分区过多也存在潜在影响,例如文件句柄增加、不可用性增加(如:某个节点故障后,部分Partition重选Leader后时间窗口会比较大)及端到端时延增加等。 建议:单个Partition的磁盘占用最大不超过100GB;单节点上Partition数目不超过3000;整个集群的分区总数不超过10000。
查看Flink应用调测结果 操作场景 Flink应用程序运行完成后,您可以查看运行结果数据,也可以通过Flink WebUI查看应用程序运行情况。 操作步骤 查看Flink应用运行结果数据。 当用户查看执行结果时,需要在Flink的web页面上查看Task Manager的Stdout日志。
BulkGet接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将要获取的数据的rowKey构造成rdd,然后通过HBaseContext的bulkGet接口获取对HBase表上这些rowKey对应的数据。 数据规划 基于Bul
foreachPartition接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,将要插入的数据的rowKey构造成rdd,然后通过HBaseContext的mapPartition接口将rdd并发写入HBase表中。 数据规划
分布式Scan HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用hbaseRDD方法以特定的规则扫描HBase表。 数据规划 使用操作Avro格式数据章节中创建的hbase数据表。 开发思路 设置scan的规则,例如:setCaching。
BulkDelete接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将要删除的数据的rowKey构造成rdd,然后通过HBaseContext的bulkDelete接口对HBase表上这些rowKey对应的数据进行删除。 数据规划
BulkGet接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将要获取的数据的rowKey构造成rdd,然后通过HBaseContext的bulkGet接口获取对HBase表上这些rowKey对应的数据。 数据规划 基于Bul