检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
sh”脚本时的密码;x.x.x.x为集群Manager的浮动IP。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 查看是否打开“Security Cookie”开关,即查看配置“flink-conf.yaml”文件中的“security
ID字符串。 Search and Replace Interceptor 该拦截器基于Java正则表达式提供简单的基于字符串的搜索和替换功能。与Java Matcher.replaceAll() 的规则相同。 Regex Filtering Interceptor 该拦截器通过
显示用户选择字段的类型。 行键 “目的连接”为hbase-connector类型时,需要勾选作为行键的“目的字段”。 如果From是sftp/ftp/obs/hdfs等文件类型连接器,Field Mapping 样值取自文件第一行数据,需要保证第一行数据是完整的,Loader作业不会抽取没有Mapping上的列。
时间偏差大于150s,则需先停止集群,防止数据丢失。停止集群期间服务无法访问。 如果NTP服务器与集群当前时间偏差大于15分钟,集群访问OBS会连接失败。 对于开启Kerberos认证集群,如果NTP服务器与集群当前时间偏差大于5分钟,会导致认证失败。 修改MRS集群NTP服务器
r、Long、Float、Double、String、Date、Decimal 支持的数据格式:parquet、orc 支持的文件系统:obs、hdfs 支持的机型: AMD64、ARM 支持的场景:spark-sql模式 配置参数 在Spark客户端的“{客户端安装目录}/Sp
删除弹性伸缩策略 功能介绍 删除弹性伸缩策略。 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/autoscaling-policy/{cluster_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
查询集群节点列表 功能介绍 查询集群节点列表。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/nodes 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释:
该参数未配置时为非安全Kafka。 如果需要配置SSL,truststore.jks文件生成方式可参考“Kafka开发指南 > 客户端SSL加密功能使用说明”章节。 执行本样例工程,需配置“allow.everyone.if.no.acl.found”为“true”,详情请参考配置对接Kafka。
缩容集群 功能介绍 对MRS集群进行缩容。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/shrink 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释:
加载到state中。 如果有全量数据接增量的需求,且已经有全量的离线Hoodie表,需要接上实时写入,同时保证数据不重复,可以开启索引加载功能。 write.index_bootstrap.tasks 否 4 如果启动作业时索引加载缓慢,可以调大该值,调大该值后可以加快boots
扩容集群 功能介绍 对MRS集群进行扩容。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/expand 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释:
图1 示例 创建一个从SFTP服务器导入数据到HDFS的Loader作业,具体操作请参见典型场景:从SFTP服务器导入数据到HDFS/OBS。 使用安装客户端的用户登录客户端所在节点。 执行以下命令,进入schedule-tool工具的conf目录。例如,Loader客户端安装
图1 示例 创建一个从SFTP服务器导入数据到HDFS的Loader作业,具体操作请参见使用Loader从SFTP服务器导入数据到HDFS/OBS。 使用安装客户端的用户登录客户端所在节点。 执行以下命令,进入schedule-tool工具的conf目录。例如,Loader客户端安装
tech/docs/en/engines/table-engines。 MergeTree系列引擎 MergeTree用于高负载任务的最通用和功能最强大的表引擎,其主要有以下关键特征: 基于分区键(partitioning key)的数据分区分块存储 数据索引排序(基于primary
这控制着批量读取并一起归档的提交即时的数量。 10 hoodie.parquet.small.file.limit 该值应小于maxFileSize,如果将其设置为0,会关闭此功能。由于批处理中分区中插入记录的数量众多,总会出现小文件。Hudi提供了一个选项,可以通过将对该分区中的插入作为对现有小文件的更新来解决小文
tech/docs/en/engines/table-engines。 MergeTree系列引擎 MergeTree用于高负载任务的最通用和功能最强大的表引擎,其主要有以下关键特征: 基于分区键(partitioning key)的数据分区分块存储 数据索引排序(基于primary
Superior Scheduler REST API接口介绍 功能简介 REST/HTTP是Superior Scheduler在YARN资源管理器主机和YARN资源管理网络服务端口的一部分。通常以address:port as SS_REST_SERVER.的形式指示YARN。
sh”脚本时的密码;x.x.x.x为集群Manager的浮动IP。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 配置客户端访问flink.keystore和flink.truststore文件的路径。 相对路径(推荐): 执行如下步骤配置flink
发送告警开关开启时表示将触发告警。 “分级告警开关”开启时启用分级告警,系统会根据实时监控指标值和分级阈值,动态上报相应级别的告警。(MRS 3.3.0及之后版本支持该功能) “告警ID”和“告警名称”包含阈值将触发的告警信息。 Manager会检查监控指标数值是否满足阈值条件,若连续检查且不满足的次数等于“
更新弹性伸缩策略 功能介绍 更新弹性伸缩策略。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/autoscaling-policy/{cluster_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String