检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
生产者发送多条数据可以封装在一个事务中，形成一个原子操作。多条消息要么都发送成功，要么都发送失败。 read-process-write模式：将消息消费和生产封装在一个事务中，形成一个原子操作。在一个流式处理的应用中，常常一个服务需要从上游接收消息，然后经过处理后送达到下游，这就对应着消息的消费和生产。
创建数据连接 功能介绍 创建数据连接 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/data-connectors 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释： 项目编号。获取方法，请参见获取项目ID。
ALM-19034 RegionServer WAL写入超时个数超过阈值 告警解释 系统每30秒周期性检测每个HBase服务的RegionServer实例的WAL写入超时个数，当检测到某个RegionServer上的WAL写入超时个数连续10次超出阈值时产生该告警。 当Regio
Storm业务拓扑配置GC参数不生效 问题背景与现象 业务拓扑代码中配置参数topology.worker.childopts不生效，关键日志如下： [main] INFO b.s.StormSubmitter - Uploading topology jar /opt/jar/example
k/conf”目录下。如果是在集群外节点安装的客户端，需要将得到的文件复制到该节点的“/etc/”目录下。 MRS 3.x及之后版本，安全模式下需要将客户端安装节点的业务IP以及Manager的浮动ip追加到“/opt/Bigdata/client/Flink/flink/conf/flink-conf
配置DataNode节点容量不一致时的副本放置策略 操作场景 默认情况下，NameNode会随机选择DataNode节点写文件。当集群内某些数据节点的磁盘容量不一致（某些节点的磁盘总容量大，某些总容量小），会导致磁盘总容量小的节点先写满。通过修改集群默认的DataNode写数据时
配置DataNode节点容量不一致时的副本放置策略 操作场景 默认情况下，NameNode会随机选择DataNode节点写文件。当集群内某些数据节点的磁盘容量不一致（某些节点的磁盘总容量大，某些总容量小），会导致磁盘总容量小的节点先写满。通过修改集群默认的DataNode写数据时
e集群和Kafka集群在同一VPC下，网络可以互通，并安装ClickHouse客户端。 约束限制 当前ClickHouse不支持和开启安全模式的Kafka集群进行对接。 Kafka引擎表使用语法说明 语法 CREATE TABLE [IF NOT EXISTS] [db.]table_name
额。 约束限制： 不涉及 取值范围： 1-500 默认取值： 不涉及 billing_type 是 Integer 参数解释： 集群的计费模式。 约束限制： 不涉及 取值范围： 12：表示按需计费。接口调用仅支持创建按需计费集群。 默认取值： 不涉及 data_center 是 String
net.ipv4.ip_forward=1 执行以下命令，修改sshd配置文件： vi /etc/ssh/sshd_config 按I进入编辑模式，查找“AllowTcpForwarding”和“GatewayPorts”，并删除注释符号，修改内容如下，然后保存并退出： AllowTcpForwarding
添加MRS集群Task节点弹性伸缩策略 操作视频 本视频为您分别介绍如何在购买集群时配置弹性伸缩、如何为已有集群新增弹性伸缩策略。 因不同版本操作界面可能存在差异，相关视频供参考，具体以实际环境为准。 创建MRS集群时配置弹性伸缩 创建集群时，弹性伸缩功能可以通过在高级配置参数中进行配置。
e集群和Kafka集群在同一VPC下，网络可以互通，并安装ClickHouse客户端。 约束限制 当前ClickHouse不支持和开启安全模式的Kafka集群进行对接。 Kafka引擎表使用语法说明 语法 CREATE TABLE [IF NOT EXISTS] [db.]table_name
net.ipv4.ip_forward=1 执行以下命令，修改sshd配置文件： vi /etc/ssh/sshd_config 按I进入编辑模式，查找“AllowTcpForwarding”和“GatewayPorts”，并删除注释符号，修改内容如下，然后保存并退出： AllowTcpForwarding
如果采用yarn-client模式运行Spark任务，请在“客户端安装目录/Spark/spark/conf/spark-defaults.conf”文件中添加参数“spark.driver.host”，并将参数值设置为客户端的IP地址。 当采用yarn-client模式时，为了Spark
解锁MRS集群LDAP用户 在用户输入错误密码次数大于允许输入的错误次数，造成用户被锁定的场景下，用户可以通过Manager为锁定的用户解锁（仅支持解锁通过Manager创建的用户），也可以通过登录MRS集群节点后使用命令进行解锁。 如果服务出现异常状态，有可能是系统内部用户被锁
HDFS基本原理 HDFS是Hadoop的分布式文件系统（Hadoop Distributed File System），实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写，多次读”的特征，而数据“写”操作是顺序写，也就是在文件创建时的写入或者在现有文件
查询主机列表 功能介绍 该接口用于查询输入集群的主机列表详情。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id}/hosts 表1 路径参数 参数 是否必选 参数类型 描述 cluster_id
HistoryServer缓存的应用被回收，导致此类应用页面访问时出错 问题 在History Server页面中访问某个Spark应用的页面时，发现访问时出错。 查看相应的HistoryServer日志后，发现有“FileNotFound”异常，相关日志如下所示： 2016-11-22
HistoryServer缓存的应用被回收，导致此类应用页面访问时出错 问题 在History Server页面中访问某个Spark应用的页面时，发现访问时出错。 查看相应的HistoryServer日志后，发现有“FileNotFound”异常，相关日志如下所示： 2016-11-22
配置MRS集群弹性伸缩 应用场景 本入门指导以如下业务场景为例，介绍弹性伸缩规则与资源计划均叠加使用的操作： 某项实时处理业务数据量在周一、周二和周六7:00~13:00出现规律性变化，但是数据量变化并非非常平稳。假设在周一、周二和周六7:00~13:00期间，需要Task节点的
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
