检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可以增量Checkpoint的状态后端,除了适合于FsStateBackend的场景,还适用于超大状态的场景。 表1 Flink状态后端 类别 MemoryStateBackend FsStateBackend RocksDBStateBackend 方式 Checkpoint数据直接返回给Master节点,不落盘
on.sh脚本执行时添加上传目录,例如在执行▪命令4:之前,应首先执行yarn-session.sh -t config/ ***。 四种类型实际命令示例,以ReadFromKafka为例,集群域名为“HADOOP.COM”: 命令1: bin/flink run --class
储,Flink依赖于state backend,作业的重启依赖于重启策略,用户可以对这两部分进行配置。配置项包括state backend类型,存储路径,重启策略等。 Kerberos-based Security: Flink安全模式下必须配置Kerberos相关配置项,配置项
插入空集后数据不会覆盖的问题。 解决conv函数使用多组数据,第一组正常后续数据为空值也不报错的问题。 Hive分区查询支持varchar类型下推. Hive支持对自读自写的SQL进行拦截。 Hive需要把.db库加入数据保护黑名单中防止创建表location指定路径到库后导致删表后库数据丢失。
添加角色”创建一个角色,并根据主集群HBase源数据表的权限,为角色添加备数据表的相同权限。 选择“系统 > 权限 > 用户 > 添加用户”创建一个用户,根据业务需要选择用户类型为“人机”或“机机”,并将用户加入创建的角色。使用新创建的用户,访问备集群的HBase容灾数据。 主集群HBase源数据表修改权限时,如果
添加角色”创建一个角色,并根据主集群HBase源数据表的权限,为角色添加备数据表的相同权限。 选择“系统 > 权限 > 用户 > 添加用户”创建一个用户,根据业务需要选择用户类型为“人机”或“机机”,并将用户加入创建的角色。使用新创建的用户,访问备集群的HBase容灾数据。 主集群HBase源数据表修改权限时,如果
如,若Curl仅支持TLSv1协议,修改方法如下。 登录MRS Manager页面,单击“服务管理 > HDFS > 服务配置”,在“参数类别”选择“全部配置”,在“搜索”框里搜索“hadoop.ssl.enabled.protocols”,查看参数值是否包含“TLSv1”,若不包含,则在配置项“hadoop
勾选“ClickHouse管理员权限”,单击“确定”操作结束。 选择“系统 > 权限 > 用户”,单击“添加用户”,进入添加用户页面。 “用户类型”选择“人机”,在“密码”和“确认密码”参数设置该用户对应的密码。 用户名:添加的用户名不能包含字符“-”,否则会导致认证失败。 密码:设置的密码不能携带“$”、“
<service> <domain>,其中<brokers>指获取元数据的Kafka地址,<subscribe-type>指Kafka订阅类型(一般为subscribe,代表订阅指定的topic),<topic>指读取Kafka上的topic名称,<protocol>指安全访问协
对于YARN部署的Spark,将spark.authenticate配置为真会自动处理生成和分发共享密钥。每个应用程序会独占一个共享密钥。 对于其他类型部署的Spark,应该在每个节点上配置Spark参数spark.authenticate.secret。所有Master/Workers和应用程序都将使用该密钥。
告警级别: MRS 3.3.0及之后版本集群开启“分级告警开关”后,可以在“阈值设置”参数中配置告警级别。 紧急 重要 次要 提示 重要 阈值类型 选择某指标的最大值或最小值。 最大值:表示指标的实际值大于设置的阈值时系统将产生告警。 最小值:表示指标的实际值小于设置的阈值时系统将产生告警。
对于YARN部署的Spark,将spark.authenticate配置为真会自动处理生成和分发共享密钥。每个应用程序会独占一个共享密钥。 对于其他类型部署的Spark,应该在每个节点上配置Spark参数spark.authenticate.secret。所有Master/Workers和应用程序都将使用该密钥。