检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果恢复作业是一次覆盖操作(指定恢复数据到已经存在的表或分区中),那么从恢复作业的COMMIT阶段开始,当前集群上被覆盖的数据有可能不再被还原。如果恢复作业失败或被取消,有可能造成之前的数据损坏且无法访问。这种情况下,只能通过再次执行恢复操作,并等待作业完成。因此,不推荐使用覆盖的方式恢复数据,除非确认当前数据已不再使用。
),超过此阈值时会记录日志。 修改此参数值为“1.0”。 当客户业务侧发送过多超大请求会导致服务端处理慢,导致请求积压过载,当过大请求可以被认为是异常请求时,可以在Manager界面的HBase配置中调整RegionServer以下参数拒绝对应请求。 表3 请求拒绝相关参数调整 参数名称
materialized_view_rewrite_enabled=true; - 验证查询是否能通过改写成物化视图进行SQL优化 验证查询SQL语句能否被mv.default.mv1改写优化 verify materialized view mvname(mv.default.mv1) originalsql
一个用于缩放、并行化和容错性的分区(Partition)。每个分区是一个有序、不可变的消息序列,并不断追加到提交日志文件。分区的消息每个也被赋值一个称为偏移顺序(Offset)的序列化编号。 图1 Kafka结构 约束与限制 创建并购买一个包含Kafka组件的MRS 3.1.0版
创建弹性公网IP,然后在弹性公网IP下拉框中选择对应的弹性公网IP。 如果已创建弹性公网IP,但在绑定时无法找到,可能是由于该弹性公网IP被其他集群绑定,请先在弹性公网IP界面解绑,然后再为当前集群绑定。 检查安全组设置是否正常。 弹性IP绑定成功后,如果仍旧无法访问Manage
/m/h/d。 30 s 否 taskmanager.refused-registration-pause TaskManager注册连接被JobManager拒绝后的重试间隔。单位:ms/s/m/h/d。 10 s 否 classloader.resolve-order 从用户
多资源才能完成,且容易出现OOM。 阻塞Clean,如果没有Compaction操作来产生新版本的Parquet文件,那旧版本的文件就不能被Clean清理,增加存储压力。 CPU与内存比例为1:4~1:8。 Compaction作业是将存量的parquet文件内的数据与新增的lo
的实时分析和查询的系统。 删除集群 MRS服务支持用户在不需要大数据集群时执行删除集群操作,集群删除后,所有大数据使用的相关云资源都会同时被释放。删除集群前,建议完成数据搬迁或者备份,确认集群无任何业务运行或者集群异常且经运维分析无法继续提供服务时再执行集群删除操作。对于数据存放
/Spark2x/spark/bin ./spark-beeline 创建CarbonData Table 在Spark Beeline被连接到JDBCServer之后,需要创建一个CarbonData table用于加载数据和执行查询操作。下面是创建一个简单的表的命令。 create
如果需要删除手动添加的密码策略,可以执行如下操作。 单击待删除的密码策略所在行的“删除”,在弹出窗口中单击“确定”。 default密码策略和已经被用户绑定的密码策略不能被删除。 修改密码策略 登录Manager。 进入密码策略配置页面。 MRS 2.x及之前版本:选择“系统设置”,单击“密码策略配置”。
将“主机IP”设置为ECS的IP地址,设置“主机端口”为“22”,并将“保存路径”设置为“/tmp”。 如果使用SSH登录ECS的默认端口“22”被修改,请将“主机端口”设置为新端口。 “保存路径”最多可以包含256个字符。 “登录用户”设置为“root”。 如果使用其他用户,请确保该用户对保存目录拥有读取、写入和执行权限。
CheckPoint是Flink数据处理高可靠、最重要的机制。该机制可以保证应用在运行过程中出现失败时,应用的所有状态能够从某一个检查点恢复,保证数据仅被处理一次(Exactly Once)。 SavePoint Savepoint是指允许用户在持久化存储中保存某个checkpoint,以便用
文件存放路径。 <kafkaBootstrapServers>指获取元数据的Kafka地址。 <maxEventDelay>指数据从生成到被流处理引擎的最大延迟时间。 <reqTopic>指请求事件的topic名称。 <showTopic>指展示事件的topic名称。 <maxS
CheckPoint是Flink数据处理高可靠、最重要的机制。该机制可以保证应用在运行过程中出现失败时,应用的所有状态能够从某一个检查点恢复,保证数据仅被处理一次(Exactly Once)。 SavePoint Savepoint是指允许用户在持久化存储中保存某个checkpoint,以便用
单击“主机管理”,看所有主机状态。 主机操作状态和健康状态分别如下表所示。 表5 主机操作状态 状态 描述 正常 主机及主机上的服务角色正常运行。 已隔离 主机被用户隔离,主机上的服务角色停止运行。 表6 主机健康状态 状态 描述 良好 主机心跳检测正常。 故障 主机心跳超时未上报。 未知 执行添加操作时,主机的初始状态。
目前暂不支持除以上类型外的更复杂数据类型的UDF、UDAF和UDTF。 当前只支持入参数量小于或等于5个的Hive UDF,大于5个入参的Hive UDF将无法被注册。 如果Hive UDF入参为null,系统调用Hive UDF将直接返回null,不会解析null作为入参的Hive UDF逻辑,这可能导致处理null值的Hive
服务端参数 访问的端口 新API 用户需满足以下条件之一即可: 属于系统管理员组 属于kafkaadmin组 属于kafkasuperuser组 被授权的kafka组的用户 security.protocol=SASL_PLAINTEXT sasl.kerberos.service.name
HDFS目录不存在时,也可以配置成功,新建不存在的同名目录,已设置的标签对应关系将在30分钟之内被继承。设置了标签的目录被删除后,新增一个同名目录,原有的对应关系也将在30分钟之内被继承。 命令行设置方式请参考hdfs nodelabel -setLabelExpression命令。
HDFS目录不存在时,也可以配置成功,新建不存在的同名目录,已设置的标签对应关系将在30分钟之内被继承。设置了标签的目录被删除后,新增一个同名目录,原有的对应关系也将在30分钟之内被继承。 命令行设置方式请参考hdfs nodelabel -setLabelExpression命令。
/m/h/d。 30 s 否 taskmanager.refused-registration-pause TaskManager注册连接被JobManager拒绝后的重试间隔。单位:ms/s/m/h/d。 10 s 否 classloader.resolve-order 从用户