检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
1/hadoop-project-dist/hadoop-hdfs/WebHDFS.html#Make_a_Directory 单击链接,如图1所示。 图1 创建目录样例命令 进入到客户端的安装目录下,此处为“/opt/client”,创建名为“huawei”的目录。 执行下列命令,查看
务器端”,单击“确定”开始生成客户端配置文件,文件生成后默认保存在主管理节点“/tmp/MRS-client”。文件保存路径支持自定义。 图1 下载客户端配置文件 查询并登录主Master节点。 若在集群内使用客户端,执行以下命令切换到omm用户,若在集群外使用客户端,请切换到root用户:
示例中各参数介绍请参考表1。 使用spark datasource接口更新Mor表,Upsert写入小数据量时可能触发更新数据的小文件合并,使在Mor表的读优化视图中能查到部分更新数据。 当update的数据对应的base文件是小文件时,insert中的数据和update中的数据会被合在一起和base文
ooKeeper服务。 修改MRS集群系统域名 登录FusionInsight Manager。 选择“系统 > 权限 > 域和互信”。 图1 域和互信 修改相关参数。 表2 相关参数 参数 示例 参数说明 本端域 MRSTEST.COM 填写本系统规划好的域名。 密码后缀 Admin@123
MRS集群阈值转告警监控指标可分为节点信息指标与集群服务指标,相关指标及其对系统的影响、默认阈值等信息请参考监控指标参考。 方案架构 Manager的整体逻辑架构如图1所示。 图1 Manager逻辑架构 Manager由OMS和OMA组成: OMS:操作维护系统的管理节点,OMS一般有两个,互为主备。 OMA
认操作影响后,单击“确定”进行重启。 选择滚动重启时可以根据实际需要参考表1配置相关参数。(不同版本参数略有差异,请以实际界面显示为准) 图1 通过Manager滚动重启服务 表1 滚动重启配置参数 参数名称 示例 描述 只重启配置过期的实例 - 是否只重启集群内修改过配置的实例。
“客户端类型”选择“仅配置文件”,“下载路径”选择“服务器端”,单击“确定”开始生成客户端配置文件,文件生成后默认保存在主管理节点“/tmp/MRS-client”。 图1 仅下载客户端的配置文件 登录MRS Manager的主管理节点。 在MRS控制台,选择“现有集群”,单击集群名称,在“节点管理”页签中查
HetuEngine支持对接MySQL操作的SQL语法:SHOW CATALOGS/SCHEMAS/TABLES/COLUMNS、DESCRIBE、USE、SELECT表/视图。 HetuEngine支持的MySQL数据源的Schema和Table名称不区分大小写。 不支持在具有CHAR或VARCHAR等文本类型的列上下推任何谓词。
权限。 备份Manager数据 在FusionInsight Manager,选择“运维 > 备份恢复 > 备份管理”。 单击“创建”。 图1 创建备份任务 在“任务名称”填写备份任务的名称。 设置“备份对象”为“OMS”。 在“备份类型”选择备份任务的运行类型。 “周期备份”表
ParameterTool paraTool = ParameterTool.fromArgs(args); // 构造流图,将自定义Source生成的数据写入Kafka DataStream<String> messageStream = env
1/src/clickhouse-examples。 本地使用IDEA工具导入样例工程,等待Maven工程下载相关依赖包,具体操作可参考配置并导入样例工程。 图1 ClickHouse样例工程示例 本地配置好Maven及SDK相关参数后,样例工程会自动加载相关依赖包。 在本示例工程中,程序通过配置文
“客户端类型”选择“仅配置文件”,“下载路径”选择“服务器端”,单击“确定”开始生成客户端配置文件,文件生成后默认保存在主管理节点“/tmp/MRS-client”。 图1 仅下载客户端的配置文件 MRS3.x及后续版本,操作如下: 登录FusionInsight Manager页面,具体请参见访问FusionInsight
并单击集群名,进入集群基本信息页面。 进入“补丁管理”页面,在操作列表中单击“安装”。 进入“警告”页面,阅读补丁说明,并单击“确定”。 图1 安装补丁 请确保集群允许root登录,并且所有节点的root密码一致。 如果任务失败,选择“重试安装”,只有当“状态”显示为“已安装”时,才能进入下一步操作。
erver地址。 vi /etc/ntp.conf server master1_ip prefer server master2_ip 图1 NTP配置文件修改示例 保存配置文件后,执行以下命令关闭NTP服务。 service ntpd stop 执行如下命令,手动同步一次时间。
lock.enable”,参数值为“true”表示开启,值为“false”表示关闭。 新建Flink SQL作业 在作业开发界面进行作业开发。 图1 FlinkServer作业开发界面 可以单击上方“语义校验”对输入内容校验,单击“SQL格式化”对SQL语句进行格式化。 作业SQL开发
“备份路径”表示备份文件保存的完整路径。 选择正确的项目,在“备份路径”手工选中备份文件的完整路径并复制。 选择“运维 > 备份恢复 > 恢复管理 > 创建 ”。 图1 创建恢复任务 在“任务名称”填写恢复任务的名称。 在“恢复对象”选择“OMS”。 勾选“OMS”。 在“OMS”的“路径类型”,选择一个备份目录的类型。
在“remote_connect_hdfs_config_file”参数单击“上传文件”,选择5中准备的“hdfs-site.xml”文件上传。 图1 配置CLickHouse数据备份参数 单击“保存”,确认提示信息,单击“确定”保存配置。保存完成后,单击“完成”。 选择“集群 > 服务
务器端”,单击“确定”开始生成客户端配置文件,文件生成后默认保存在主管理节点“/tmp/MRS-client”。文件保存路径支持自定义。 图1 下载客户端的配置文件 登录MRS Manager的主管理节点。 在集群详情的“节点信息”页签中查看节点名称,名称中包含“master1”
ster节点的IP并注释掉其他server的地址。 server master1_ip prefer server master2_ip 图1 增加Master节点的IP 执行service ntpd stop命令关闭NTP服务。 执行如下命令,手动同步一次时间: /usr/sbin/ntpdate
jar”结尾,sql和jar不区分大小写。 默认取值: 不涉及 arguments 否 String 参数解释: 程序执行的关键参数,该参数由用户程序内的函数指定,MRS只负责参数的传入。 约束限制: 不涉及 取值范围: 最多为150000字符,不能包含;|&>'<$特殊字符,可为空。 默认取值: