正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击sparksql文件系统名称,并选择“文件”。 单击“新建文件夹”,创建input文件夹。 进入input文件夹,单击“上传文件 > 添加文件”,选择本地的txt文件,然后单击“上传”。 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。 将OBS中的txt文件导入至HDFS中。
名称。 使用PuTTY工具,以root用户登录告警所在主机。 执行命令ethtool 网口名称,查看当前网口速率最大值Speed。 对于虚拟机环境,通过命令可能无法查询到网口速率,建议直接联系系统管理确认网口速率是否满足需求。 若网络读吞吐率超过阈值,直接联系系统管理员,提升网口速率。
网口。 使用PuTTY工具,以root用户登录告警所在主机。 执行命令ethtool 网口名称,查看当前网口速率最大值Speed。 对于虚拟机环境,通过命令可能无法查询到网口速率,建议直接联系系统管理确认网口速率是否满足需求。 若网络写吞吐率超过阈值,直接联系系统管理员,提升网口速率。
作业最终状态码。 0:未完成 1:执行错误,终止执行 2:执行完成并且成功 3:已取消 hive_script_path String Hive脚本地址。 create_by String 创建作业的用户ID。 finished_step Integer 当前已完成的步骤数。 job_main_id
xml”中(例如“客户端安装路径/HDFS/hadoop/etc/hadoop/”)配置如下参数。 表1 参数描述 参数 描述 默认值 io.compression.codecs 为了使LZC压缩格式生效,在现有的压缩格式列表中增加如下值: “com.huawei.hadoop.datasight.io.compress
包年/包月 包年/包月是一种先付费再使用的计费模式,适用于对资源需求稳定且希望降低成本的用户。本文将介绍包年/包月MRS集群资源的计费规则。 适用场景 包年/包月计费模式需要用户预先支付一定时长的费用,适用于长期、稳定的业务需求。 以下是一些适用于包年/包月计费模式的业务场景: 用户基于业务需求可预估资源使用周期。
Config/batch_upgrade”。 选择“集群 > 客户端管理”,进入客户端管理界面,单击“导出全部”,将所选的客户端信息导出到本地。 解压导出的客户端信息,将client-info.cfg文件上传到客户端解压目录的batch_upgrade目录下。 参考以下操作,补全“client-info
在“Flink”的“路径类型”,选择一个备份目录的类型。 备份目录支持以下类型: “LocalDir”:表示将备份文件保存在主管理节点的本地磁盘上,备管理节点将自动同步备份文件。 默认保存目录为“数据存放路径/LocalBackup/”,例如“/srv/BigData/LocalBackup”。
在“Flink”的“路径类型”,选择一个恢复目录的类型。 选择不同的备份目录时,对应设置如下: “LocalDir”:表示从主管理节点的本地磁盘上恢复数据。 选择此参数值,还需要配置“源端路径”,表示要恢复的备份文件。例如,“备份任务名_数据源_任务执行时间.tar.gz”。
xml”中(例如“客户端安装路径/HDFS/hadoop/etc/hadoop/”)配置如下参数。 表1 参数描述 参数 描述 默认值 io.compression.codecs 为了使LZC压缩格式生效,在现有的压缩格式列表中增加如下值: “com.huawei.hadoop.datasight.io.compress
com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下IoTDB相关样例工程: 表1 IoTDB相关样例工程 样例工程位置 描述
请登录密钥管理控制台进行操作。 数据盘密钥ID 用于加密数据盘的密钥ID。 组件版本 集群安装各组件的版本信息。 委托 通过绑定委托,ECS或BMS云服务将有权限来管理您的部分资源。 父主题: 查看MRS集群日志
文件内是否包含集群内节点的主机名信息,如未包含,需要手动复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中,确保本地机器能与集群各主机在网络上互通。 准备安全认证(安全模式集群) 参考准备Flink安全认证。 父主题: 准备Flink应用开发环境
system”页面 进入“/tmp/logs/执行用户名/bucket-logs-tfile/任务ID/Flink任务ID”目录,将该目录下文件全部下载到本地。 图6 获取作业日志文件 在2.c下载的文件中搜索“root.sg.d1”,如下图显示则表示数据从IoTDB中读取成功。 图7 读取IoTDB数据成功
MS Administrator”权限,且需要在相应组件进行如下配置。 如果集群同时开启“OBS权限控制”功能,此时会使用ECS配置的默认委托“MRS_ECS_DEFAULT_AGENCY”或者用户设置的自定义委托的AK/SK访问OBS服务,同时OBS服务会使用接收到的AK/SK
Task节点的实例规格,例如:c3.4xlarge.2.linux.bigdata。实例规格详细说明请参见MRS所使用的弹性云服务器规格和MRS所使用的裸金属服务器规格。该参数建议从MRS控制台的集群创建页面获取对应区域对应版本所支持的规格。 约束限制: 不涉及 取值范围: 不涉及
f”为文件的完整路径。 public void copyFromLocalFile(Path src, Path dst) 通过该接口可将本地文件上传到HDFS的指定位置上,其中“src”和“dst”均为文件的完整路径。 public boolean mkdirs(Path f)
具体可以细分如下几类: 一对一的转换:如Map。 一对0、1或多个的转换:如FlatMap。 一对0或1的转换,如Filter。 多对1转换,如Union。 多个聚合的转换,如window、keyby。 CheckPoint CheckPoint是Flink数据处理高可靠、最重
迁移数据作业每天可以运行的时间段。 流式Kafka集群信息收集 表6 流式Kafka集群信息 收集信息项 描述 Kafka的Topic数量和名称 - Kafka的本地数据暂存时间 如果每个Topic配置不一样,按Topic粒度收集。 每个Topic的副本数和Partition数量 默认为2,副本数越多数据越可靠,也会消耗磁盘空间。
具体可以细分如下几类: 一对一的转换:如Map。 一对0、1或多个的转换:如FlatMap。 一对0或1的转换,如Filter。 多对1转换,如Union。 多个聚合的转换,如window、keyby。 CheckPoint CheckPoint是Flink数据处理高可靠、最重