检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Flink任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例,否则可能会导致任务失败,并可能导致应用部分临时数据无法清空。 请确保Jar包和配置文件的用户权限与Flink客户端一致,例如都是omm用户,且权限为755。 MRS 3.2.1及以后版本使用-tm指定taskmanager内存不能小于4096MB。
查询状态时,可以使用“-s”参数,只查询作业的状态枚举。 示例: status job -j 1 status job -j 1 -s create命令扩展属性 针对HDFS与SFTP服务器或RDB进行数据交换场景,MRS在开源sqoop-shell工具的基础上对create命令属性进行扩展,以达到在创建作业时指定行、列分隔符及转换步骤的目的。
-a delete lt-ctl使用说明 lt-ctl:loader-tool controller作业管理工具,用于启停作业,查询作业状态与进度,查询作业是否运行中。 表3 lt-ctl脚本的“参数选项”配置说明 参数选项 说明 参数值示例 -help 获取帮助信息。 - -a <arg>
-a delete lt-ctl使用说明 lt-ctl:loader-tool controller作业管理工具,用于启停作业,查询作业状态与进度,查询作业是否运行中。 表3 lt-ctl脚本的“参数选项”配置说明 参数选项 说明 参数值示例 -help 获取帮助信息。 - -a <arg>
查询状态时,可以使用“-s”参数,只查询作业的状态枚举。 示例: status job -j 1 status job -j 1 -s create命令扩展属性 针对HDFS与SFTP服务器或RDB进行数据交换场景,MRS在开源sqoop-shell工具的基础上对create命令属性进行扩展,以达到在创建作业时指定行、列分隔符及转换步骤的目的。
参数类型 描述 tags 否 String 参数解释: 标签列表。可以通过集群的标签来搜索指定标签的集群,当指定多个tag进行查询时,标签之间是与的关系。 约束限制: 不涉及 取值范围: tags参数的格式为tags=k1*v1,k2*v2,k3*v3 当标签的value为空时,格式为tags=k1
by + having:having的场景和where不一样,having的条件无法做到补偿,要求物化视图SQL的没有having条件或者与用户查询SQL的having条件一致 物化视图范围大于用户查询范围(<) select col1 from tb_a group by col1
FlinkServer界面回显FlinkSQL时,SQL中的“password”字段将显示为空,在回显状态下需要将密码信息补齐后再提交作业。 Flink SQL与JDBC数据类型对应关系 Flink SQL数据类型 MySQL数据类型 Oracle数据类型 PostgreSQL数据类型 SQL Server数据类型
进程使用率超过阈值 ALM-12062 OMS参数配置同集群规模不匹配 ALM-12063 磁盘不可用 ALM-12064 主机随机端口范围配置与集群使用端口冲突 ALM-12066 节点间互信失效 ALM-12067 tomcat资源异常 ALM-12068 acs资源异常 ALM-12069
默认设置为0,表示为default企业项目。 eip_address 否 String 参数解释: 与MRS集群绑定的弹性公网IP,可实现使用弹性公网IP访问Manager的目的。该弹性公网IP必须已经创建且与集群在同一区域。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 eip_id
locality object 本地化对象。 target string 本地化目标的名称(即:节点1,框架1)。 count int 资源“单元”数量与所需的本地需求。 strict boolean 是否强制本地性。 resourceselect String application资源选择。
locality object 本地化对象。 target string 本地化目标的名称(即:节点1,框架1)。 count int 资源“单元”数量与所需的本地需求。 strict boolean 是否强制本地性。 resourceselect String application资源选择。
locality object 本地化对象。 target string 本地化目标的名称(即:节点1,框架1)。 count int 资源“单元”数量与所需的本地需求。 strict boolean 是否强制本地性。 resourceselect String application资源选择。
locality object 本地化对象。 target string 本地化目标的名称(即:节点1,框架1)。 count int 资源“单元”数量与所需的本地需求。 strict boolean 是否强制本地性。 resourceselect String application资源选择。
ClickHouse样例工程示例 本地配置好Maven及SDK相关参数后,样例工程会自动加载相关依赖包。 在本示例工程中,程序通过配置文件中的IP地址信息及用户信息与ClickHouse服务端进行连接。因此工程导入完成后,需要修改样例工程的“conf”目录下的“clickhouse-example.pro
name}:{index1},{index2}…,{indexN},如“NameNode:1,2”,下标从1开始计数。 可选的角色请参考MRS支持的角色与组件对应表。 约束限制: 不能超过1000条。 取值范围: 不涉及 默认取值: 不涉及 响应参数 状态码: 200 表5 响应Body参数 参数
指定加载操作的排序范围。支持两种类型的排序,batch_sort和local_sort。选择batch_sort将提升加载性能,但会降低查询性能。 说明: local_sort与分区表的DDL操作存在冲突,不能同时使用,且对分区表性能提升不明显,不建议在分区表上启用该特性。 carbon.batch.sort.size
指定加载操作的排序范围。支持两种类型的排序,batch_sort和local_sort。选择batch_sort将提升加载性能,但会降低查询性能。 说明: local_sort与分区表的DDL操作存在冲突,不能同时使用,且对分区表性能提升不明显,不建议在分区表上启用该特性。 carbon.batch.sort.size
back to webhdfs! MRS集群默认只支持HTTPS服务访问,若使用HTTPS服务访问,执行3;若使用HTTP服务访问,执行4。 与HTTP服务访问相比,以HTTPS方式访问HDFS时,由于使用了SSL安全加密,需要确保Curl命令所支持的SSL协议在集群中已添加支持。若
back to webhdfs! MRS集群默认只支持HTTPS服务访问,若使用HTTPS服务访问,执行3;若使用HTTP服务访问,执行4。 与HTTP服务访问相比,以HTTPS方式访问HDFS时,由于使用了SSL安全加密,需要确保Curl命令所支持的SSL协议在集群中已添加支持。若