检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文件的配置格式为key: value。 例:taskmanager.heap.size: 1024mb 注意配置项key:与value之间需有空格分隔。 配置参数类别介绍 本章节介绍如下参数配置: JobManager & TaskManager: JobManager和TaskManager是Flin
败的情况。 当前IAM用户名中存在空格时(例如admin 01),不支持添加作业。 单击“作业管理”,在作业列表界面单击“添加”。 “作业类型”选择“Flink”并参考表1配置Flink作业信息。 图1 添加Flink作业 表1 作业配置信息 参数 描述 示例 作业名称 作业名称
进入“弹性云服务器”页面,选择“关机”。在弹窗中勾选“强制关机”,单击“是”。 选择“节点管理”,单击对应节点组“操作”列的“缩容”,进入缩容页面。 “缩容类型”选择“指定节点缩容”,勾选待缩容节点。 勾选“我已经阅读上述信息,并了解具体影响。”并单击“确定”。 单击“组件管理”观察各个组件是否存
该参数未配置时为非安全Kafka。 如果需要配置SSL,truststore.jks文件生成方式可参考“Kafka开发指南 > 客户端SSL加密功能使用说明”章节。 四种类型实际命令示,以ReadFromKafka为例,集群域名为“HADOOP.COM”: 命令1: bin/flink run --class com
可以增量Checkpoint的状态后端,除了适合于FsStateBackend的场景,还适用于超大状态的场景。 表1 Flink状态后端 类别 MemoryStateBackend FsStateBackend RocksDBStateBackend 方式 Checkpoint数据直接返回给Master节点,不落盘
array(varchar)) 描述:将字符串按照entryDelimiter和keyValueDelimiter分割,返回一个map,每个key对应一个类型为array的value。其中,entryDelimiter将字符串分割为键值对,keyValueDelimiter将键值对分割为Key和Value。
on.sh脚本执行时添加上传目录,例如在执行▪命令4:之前,应首先执行yarn-session.sh -t config/ ***。 四种类型实际命令示例,以ReadFromKafka为例,集群域名为“HADOOP.COM”: 命令1: bin/flink run --class
fi done echo "installing phoenix jars to hbase successfully..." 请使用txt文本格式复制导入如上脚本,以避免导入格式错误问题。 <PHOENIX_HBASE_VERSION>:当前使用的phoenix版本。例如MRS
添加角色”创建一个角色,并根据主集群HBase源数据表的权限,为角色添加备数据表的相同权限。 选择“系统 > 权限 > 用户 > 添加用户”创建一个用户,根据业务需要选择用户类型为“人机”或“机机”,并将用户加入创建的角色。使用新创建的用户,访问备集群的HBase容灾数据。 主集群HBase源数据表修改权限时,如果
examples.HdfsExample: success to delete the file /user/hdfs-examples/test.txt 17/10/26 19:11:45 INFO examples.HdfsExample: success to delete path /user/hdfs-examples
如,若Curl仅支持TLSv1协议,修改方法如下。 登录MRS Manager页面,单击“服务管理 > HDFS > 服务配置”,在“参数类别”选择“全部配置”,在“搜索”框里搜索“hadoop.ssl.enabled.protocols”,查看参数值是否包含“TLSv1”,若不包含,则在配置项“hadoop
勾选“ClickHouse管理员权限”,单击“确定”操作结束。 选择“系统 > 权限 > 用户”,单击“添加用户”,进入添加用户页面。 “用户类型”选择“人机”,在“密码”和“确认密码”参数设置该用户对应的密码。 用户名:添加的用户名不能包含字符“-”,否则会导致认证失败。 密码:设置的密码不能携带“$”、“
解决Hudi的schema evolution和历史版本不兼容问题。 解决Fink无法读取低版本Spark用bulk insert方式写入的timestamp类型数据的精度问题。 解决mor表delete数据,下游Flink读任务失败问题。 解决Flink流写mor开启同步compaction,包含
<service> <domain>,其中<brokers>指获取元数据的Kafka地址,<subscribe-type>指Kafka订阅类型(一般为subscribe,代表订阅指定的topic),<topic>指读取Kafka上的topic名称,<protocol>指安全访问协
对于YARN部署的Spark,将spark.authenticate配置为真会自动处理生成和分发共享密钥。每个应用程序会独占一个共享密钥。 对于其他类型部署的Spark,应该在每个节点上配置Spark参数spark.authenticate.secret。所有Master/Workers和应用程序都将使用该密钥。
告警级别: MRS 3.3.0及之后版本集群开启“分级告警开关”后,可以在“阈值设置”参数中配置告警级别。 紧急 重要 次要 提示 重要 阈值类型 选择某指标的最大值或最小值。 最大值:表示指标的实际值大于设置的阈值时系统将产生告警。 最小值:表示指标的实际值小于设置的阈值时系统将产生告警。