华为云用户手册

  • 背景介绍 JD BCS erver多主实例方案中,JDB CS erver的实现使用YARN-Client模式,但YARN资源队列只有一个,为了解决这种资源局限的问题,引入了多租户模式。 多租户模式是将JDBCServer和租户绑定,每一个租户对应一个或多个JDBCServer,而一个JDBCServer只给一个租户提供服务。不同的租户可以配置不同的YARN队列,从而达到资源隔离,且JDBCServer根据需求动态启动,可避免浪费资源。
  • 自定义字段配置 用户可以根据需要设置自定义字段,设置成功的字段将显示在测试用例的详情中。 在测试用例设置中,单击“新增字段”,最大添加25个自定义字段。 输入“字段名称”、“描述”。选择“字段类型”,打开或关闭“是否显示”以及“是否必填”,单击“确定”。 单行文本:只能输入一行字段,最大长度不超过100个字符。 多行文本:可以输入多行字段,最大长度500个字符。 单选列表:用户可以在字段中单选设置的信息,单击“增加选项”完成配置,最大添加10个选择。 多选列表:用户可以在字段中多选设置的信息,单击“增加选项”完成配置,最大添加10个选择。 日期时间:用户可以设置日期和时间。 日期:用户可以设置日期。 整数:用户可以在字段中输入整数,可以输入-9999999999到9999999999范围内的值。 小数:用户可以在字段中输入小数,最大支持小数点后两位。 单选用户:在下拉栏中选择用户。 多选用户:在下拉栏中可以勾选多个用户。 新建成功的字段显示在列表中,单击可以重新编辑对应的字段,单击可以删除对应的字段。
  • 归档用例 将生成的用例归档后,在测试用例页面可找到对应用例记录。 在思维导图中,选中已生成用例的节点,鼠标右键单击该节点,在下拉列表中选择“归档用例”。 在弹框中,在左侧勾选需要归档的用例,单击页面右侧的下拉列表,选择版本、需要存放的用例库/测试计划、执行方式,关联需求并选择特性目录,单击“确认”。 当节点中出现时,说明操作成功,在“测试用例”页面可搜到该用例。 单击,页面将跳转至测试用例详情页。
  • 用例设计 完成测试点设计后,可以进一步细化成用例。 用例包括预置条件、步骤、预期结果三个部分,进行用例设计时分别设置这三部分内容。 进入已创建的思维导图。 在“注册会员”节点下按需新建子节点预置条件、步骤、预期结果,根据需要新建子节点。 选中作为预置条件的节点,单击思维导图上方工具栏中。 当节点中出现时,说明设置成功。 选中作为步骤的节点,单击思维导图上方工具栏中。 当节点中出现时,说明设置成功。 选中作为预期结果的节点,单击思维导图上方工具栏中。 当节点中出现时,说明设置成功。
  • 绘制思维导图 完成新建思维导图操作后,在“测试设计”页面单击需要编辑的思维导图名称,即可进行思维导图的绘制。 新增节点 新增节点包括新增邻节点(即同级节点)与新增子节点。选中思维导图中任一节点,可根据需要选择新增节点的类型。根节点只能新增子节点,其它节点可以新增邻节点和子节点。 新增子节点 进入已创建的思维导图,选中任意节点,通过以下方式新增子节点。 单击鼠标右键,在页面下拉列表中选择“新增子节点(Ins)”。 单击键盘上的“Insert”或“Tab”。 新增邻节点 进入已创建的思维导图,选中除根节点外的任意节点,通过以下方式新增邻节点。 单击鼠标右键,在页面下拉列表中选择“新增邻节点(Enter)”。 单击键盘上的“Enter”。 删除节点 在思维导图中可删除根节点以外的任意节点,若被删除的节点含有子节点,那么子节点也会随之删除。 进入已创建的思维导图,选中除根节点外的任意节点,通过以下方式删除节点。 敲击鼠标右键,在页面下拉列表中选择“删除节点(Del)”。 单击页面右上方,并在下拉列表中选择“删除当前节点”。 使用快捷键:敲击键盘上的“Delete”。 移动节点 上移/下移 进入已创建的思维导图,选中待移动节点,单击思维导图上方工具栏中或,可在同级之间上下移动节点。 拖拽节点 进入已创建的思维导图,选中待移动节点,鼠标左键单击节点不松开,拖拽到需要的位置,松开鼠标左键。
  • 生成用例 完成用例设计后,可将思维导图生成一条真正的测试用例。 生成单个用例 在思维导图中,选中待生成用例的TP节点,鼠标右键单击该节点,在下拉列表中选择“生成用例”。 当节点中出现时,说明操作成功,此时生成的是草稿用例。 单击,页面右侧将滑出用例详情。 生成测试步骤时,只读取打上TP标签节点的第一层子节点,顺序根据ST的标签按照从上到下,依次递增。 若ST标签没有设置EX预期结果,对应序号的预期结果为空。 如果在测试步骤节点下标注了多个预期结果,只读取第一个。 批量生成用例 当一个场景下设置了多个测试点,可以通过场景批量生成草稿用例。 在思维导图中,选中含有多个测试点的场景。 鼠标右键单击该节点,在下拉列表中选择“生成用例”。 此场景节点包含的全部测试点节点均出现,变成草稿用例。
  • MySQLQuery响应示例 [ { "name": "张三", "id": "efdb403066474ab08836b9eeaaa23bca", "age": 18 }, { "name": "李四", "id": "g582b0d966611486f918bedb9c711b14", "age": 20 } ]
  • 适用场景 主要应用于视频已提前录制完毕,需要按照预定时间进行伪直播,并指定用户同步进行观看的场景。用户可以提前获取到观看入口,并且只能在预定时间开始时观看视频,在预定时间点开始之前无法观看视频。 主要应用于如下可以将录播视频转为类直播的场景: 在线教育:录播视频设置播放链接的有效时间,提醒学员按时观看。如果播放链接过期,将无法查看,需要重新获取播放链接。 媒体直播:定期更新的综艺等电视节目,提前录制剪辑好,目标观众可提前收藏,按时观看。 活动直播:活动举办方提前录制好活动视频,并发布公告给出播放链接,用户可以提前保存播放链接,活动开始时可快速访问。
  • 前提条件 当前实例已创建存储迁移元数据的Catalog。 待操作用户具有OBS相关操作权限、具有已创建存储迁移元数据的Catalog的操作权限。 已创建了用于存储迁移数据的OBS并行文件系统。 表的Owner只能包含字母、数字和下划线(_),且长度为1~49个字符。不能包含中划线(-)等其他字符。 如果需要迁移多个 MRS 集群中的元数据到同一个LakeFormation实例,MRS集群之间的Database名称不能重复。 如果需要进行多次迁移,表的列更新需要满足列排序和列类型一致的兼容性要求。
  • 操作步骤 创建OBS并行文件系统,详情请参考创建并行文件系统章节。例如文件系统名称为“lakeformation-test”。 在并行文件系统页面,单击已创建的文件系统名称,例如“lakeformation-test”。 在左侧导航栏选择“文件”,单击“新建文件夹”,填写待创建的文件夹名称,单击“确定”。继续单击该文件夹名称,单击“新建文件夹”,可以创建其子文件夹。 参考该步骤,依次创建用于存放元数据的路径,例如: Catalog存储路径:lakeformation-test/catalog1 数据库存储路径:lakeformation-test/catalog1/database1 数据表存储路径:lakeformation-test/catalog1/database1/table1、lakeformation-test/catalog1/database1/table2 函数存储路径:lakeformation-test/catalog1/database1/udf1
  • 创建存储元数据的OBS路径 创建OBS并行文件系统,详情请参考创建并行文件系统章节。例如文件系统名称为“lakeformation-test”。 在并行文件系统页面,单击已创建的文件系统名称,例如“lakeformation-test”。 在左侧导航栏选择“文件”,单击“新建文件夹”,填写待创建的文件夹名称,单击“确定”。继续单击该文件夹名称,单击“新建文件夹”,可以创建其子文件夹。 参考该步骤,依次创建用于存放元数据的路径,例如: Catalog存储路径:lakeformation-test/catalog1 数据库存储路径:lakeformation-test/catalog1/database1 数据表存储路径:lakeformation-test/catalog1/database1/table1、lakeformation-test/catalog1/database1/table2 函数存储路径:lakeformation-test/catalog1/database1/udf1
  • 约束说明 MRS对接LakeFormation前,需要注意以下约束限制: MRS集群和LakeFormation实例必须同在一个云账户下且属于同一个Region。 LakeFormation侧创建的接入客户端所在虚拟私有云,必须与MRS集群在同一虚拟私有云下。 MRS集群仅支持对接LakeFormation实例中名称为hive的Catalog。 MRS存量集群需要先完成元数据库和权限策略向LakeFormation实例上迁移,再配置对接。 如果需要迁移多个MRS集群中的元数据到同一个LakeFormation实例,MRS集群之间的Database名称不能重复。 MRS对接LakeFormation后,MRS组件功能约束限制: Hive暂不支持临时表功能。 Hive暂不支持跨集群的列加密表功能。 Hive WebHCat暂不支持对接LakeFormation。 Hive创建内表时如果表目录不为空,则禁止创建表。 Hudi表创建前,需要先在LakeFormation上添加Hudi表目录的路径授权,赋予OBS读写权限。 Hudi表不支持在LakeFormation管理面编辑表的字段,只能通过Hudi客户端增删改表的字段。 Flink读写Hudi场景下同步Hive表,仅支持使用hive_sync.mode=jdbc,不支持hms方式。 Spark使用小权限用户登录客户端创建数据库时,如果用户没有default库的OBS路径权限,将提示缺少权限,实际创建数据库成功。 MRS对接LakeFormation后,权限策略约束限制: 通过LakeFormation授权仅支持将LakeFormation角色作为授权主体,不支持 IAM 用户或IAM用户组作为授权主体。 PolicySync进程不会修改集群内RangerAdmin Hive模块的默认策略,默认策略仍然生效。 PolicySync进程启动后,会与LakeFormation实例的权限进行比对,删除LakeFormation上不存在的非默认策略,请先完成权限策略迁移到LakeFormation实例上。 RangerAdmin WebUI界面的Hive模块,禁止执行添加、删除权限非默认策略的操作,统一在LakeFormation实例的数据权限界面进行授权操作。 MRS集群取消对接LakeFormation后,RangerAdmin的非默认策略不会清理,需要人工进行清理。 Hive暂不支持Grant授权的SQL语句,需统一在LakeFormation实例的数据权限界面进行授权操作。 MRS暂不支持LakeFormation行过滤权限能力。
  • 步骤二:安装集群客户端 MRS集群创建成功后,用户需手动安装集群客户端用于连接集群内各组件服务,进行客户端Shell连接、作业任务提交等操作。 客户端可以安装在集群内的节点上,也可以安装在集群外的节点上,本指南以在集群内的Master1节点上安装客户端为例进行介绍。 MRS集群创建成功后,在集群列表中单击MRS集群名称进入集群概览页面。 单击“集群管理页面”后的“前往 Manager”,在弹出的窗口中选择“EIP访问”并配置弹性IP信息。 首次访问时,可点击“管理弹性公网IP”,在弹性公网IP控制台购买一个弹性公网IP,购买成功后刷新弹性公网IP列表并选择。 勾选确认信息后,单击“确定”,登录集群的 FusionInsight Manager管理界面。 Manager登录用户名为admin,密码为购买集群时配置的用于登录Manager管理界面的“admin”用户的自定义密码。 在“主页”页签的集群名称后单击,单击“下载客户端”下载集群客户端。 图2 下载客户端 在“下载集群客户端”弹窗中,配置以下参数: 选择客户端类型:选择“完整客户端”。 选择平台类型:必须与待安装客户端的节点的架构匹配,例如“x86_64”。 对于集群内的节点,节点架构类型可在Manager页面选择“主机”,在待安装客户端节点所在行的“平台类型”列查看。 勾选“仅保存到如下路径”,使用默认保存路径,文件生成后将保存在集群主 OMS 节点(通常为Master1节点)的“/tmp/FusionInsight-Client”目录下。 图3 下载集群客户端提示框 单击“确定”后,等待客户端软件生成成功。 在MRS服务管理控制台的集群列表中,单击集群名称,在集群的“节点管理”页签,单击包含“master1”的节点名称,在ECS详情页面右上角单击“远程登录”登录Master1节点。 图4 查看Master1节点 使用root用户登录Master1节点,密码为购买集群时配置用于登录集群节点的“root”用户的自定义密码。 执行以下命令切换到客户端软件包所在目录,并解压客户端软件包。 cd /tmp/FusionInsight-Client/ tar -xvf FusionInsight_Cluster_1_Services_Client.tar tar -xvf FusionInsight_Cluster_1_Services_ClientConfig.tar 执行以下命令进入安装包所在目录,安装客户端。 cd FusionInsight_Cluster_1_Services_ClientConfig 执行如下命令安装客户端到指定目录(目录可以不存在,如果存在则必须为空)。 例如安装到“/opt/client”目录,执行以下命令: ./install.sh /opt/client 等待客户端安装完成。 ... ... component client is installed successfully ...
  • 步骤三:准备应用程序及数据 MRS集群创建成功后,可获取集群客户端内预置的wordcount样例程序进行运行,也可准备自行开发的大数据应用程序并上传至集群。 本指南以运行MRS集群客户端内的wordcount样例程序为例进行介绍,需先准备wordcount样例程序运行所需的数据文件。 以root用户登录Master1节点。 准备数据文件。 例如文件名为“wordcount1.txt”和“wordcount2.txt”,内容如下所示: vi /opt/wordcount1.txt hello word hello wordcount vi /opt/wordcount2.txt hello mapreduce hello hadoop 执行以下命令切换到客户端安装目录,配置环境变量并创建用于存放样例数据的HDFS目录,例如“/user/example/input”。 cd /opt/client source bigdata_env hdfs dfs -mkdir /user/example/input 执行以下命令,将样例数据上传至HDFS。 hdfs dfs -put /opt/wordcount1.txt /user/example/input hdfs dfs -put /opt/wordcount2.txt /user/example/input
  • 步骤一:创建MRS集群 进入购买MRS集群页面。 在服务列表中搜索“ MapReduce服务 MRS”,进入MRS服务管理控制台。 单击“购买集群”,进入“购买集群”页面,选择“快速购买”页签。 根据实际业务规划情况填写集群配置信息(本示例为快速创建按需计费的MRS 3.1.5版本集群,如需了解更多参数配置请参考快速创建MRS集群)。 表1 MRS集群配置参数 参数名称 参数说明 取值样例 计费模式 选择待创建的集群的计费模式,MRS提供“包年/包月”与“按需计费”两种计费模式。 按需计费是一种后付费模式,即先使用再付费,按照MRS集群实际使用时长计费。 按需计费 区域 选择区域。 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。 华北-北京四 集群名称 待创建的MRS集群名称。 mrs_demo 集群类型 根据实际业务需要选择待创建的MRS集群类型。 “自定义”类型集群提供丰富的组件搭配,可自行选择对应版本MRS集群所支持的所有组件。 自定义 版本类型 待创建的MRS集群版本类型。 普通版 集群版本 待创建的MRS集群版本,不同版本所包含的开源组件版本及功能特性可能不同,推荐选择最新版本。 MRS 3.1.5 组件选择 基于系统预置的集群模板选择要购买的集群组件。 Hadoop分析集群 可用区 选择集群工作区域下关联的可用区。 可用区1 虚拟私有云 选择需要创建集群的VPC,单击“查看虚拟私有云”进入VPC服务查看已创建的VPC名称和ID。如果没有VPC,需要创建一个新的VPC。 vpc-default 子网 选择需要创建集群的子网,可进入VPC服务查看VPC下已创建的子网名称和ID。如果VPC下未创建子网,请单击“创建子网”进行创建。 subnet-default 集群节点 配置集群节点信息。 保持默认 Kerberos认证 是否启用Kerberos认证。 不开启 用户名 登录集群管理页面及ECS节点的用户名。 admin/root 密码 设置登录集群管理页面及ECS节点用户的密码。 - 确认密码 再次输入设置用户密码。 - 企业项目 选择集群所属的企业项目。 default 通信安全授权 勾选确认授权。 勾选 图1 购买Hadoop分析集群 单击“立即购买”,进入任务提交成功页面。 单击“返回集群列表”,在“现有集群”列表中可以查看到集群创建的状态。 集群创建需要时间,所创集群的初始状态为“启动中”,创建成功后状态更新为“运行中”,请您耐心等待。
  • 步骤一:创建MRS集群 进入购买MRS集群页面。 在服务列表中搜索“MapReduce服务 MRS”,进入MRS服务管理控制台。 单击“购买集群”,进入“购买集群”页面,选择“快速购买”页签。 根据实际业务规划情况填写集群配置信息(本示例为快速创建按需计费的MRS 3.2.0-LTS.1版本集群,如需了解更多参数配置请参考快速创建MRS集群)。 表1 MRS集群配置参数 参数名称 参数说明 取值样例 计费模式 选择待创建的集群的计费模式,MRS提供“包年/包月”与“按需计费”两种计费模式。 按需计费是一种后付费模式,即先使用再付费,按照MRS集群实际使用时长计费。 按需计费 区域 选择区域。 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。 华北-北京四 集群名称 待创建的MRS集群名称。 mrs_demo 集群类型 根据实际业务需要选择待创建的MRS集群类型。“自定义”类型集群提供丰富的组件搭配,可自行选择对应版本MRS集群所支持的所有组件。 自定义 版本类型 待创建的MRS集群版本类型,不同版本所包含的开源组件版本及功能特性可能不同。 LTS版 集群版本 待创建的MRS集群版本,不同版本所包含的开源组件版本及功能特性可能不同,推荐选择最新版本。 MRS 3.2.0-LTS.1 组件选择 基于系统预置的集群模板选择要购买的集群组件。 HBase查询集群 可用区 选择集群工作区域下关联的可用区。 可用区1 虚拟私有云 选择需要创建集群的VPC,单击“查看虚拟私有云”进入VPC服务查看已创建的VPC名称和ID。如果没有VPC,需要创建一个新的VPC。 vpc-default 子网 选择需要创建集群的子网,可进入VPC服务查看VPC下已创建的子网名称和ID。如果VPC下未创建子网,请单击“创建子网”进行创建。 subnet-default 集群节点 配置集群节点信息。 保持默认 Kerberos认证 是否启用Kerberos认证。 不开启 用户名 登录集群管理页面及ECS节点的用户名。 admin/root 密码 设置登录集群管理页面及ECS节点用户的密码。 - 确认密码 再次输入设置用户密码。 - 企业项目 选择集群所属的企业项目。 default 通信安全授权 勾选确认授权。 勾选 图1 购买HBase查询集群 单击“立即购买”,进入任务提交成功页面。 单击“返回集群列表”,在“现有集群”列表中可以查看到集群创建的状态。 集群创建需要时间,所创集群的初始状态为“启动中”,创建成功后状态更新为“运行中”,请您耐心等待。
  • 步骤二:安装集群客户端 MRS集群创建成功后,用户可安装集群客户端用于连接集群内各组件服务,进行作业提交等操作。 客户端可以安装在集群内的节点上,也可以安装在集群外的节点上。本指南以在Master1节点上安装客户端为例进行介绍。 MRS集群创建成功后,在集群列表中单击MRS集群名称进入集群概览页面。 单击“集群管理页面 ”后的“前往 Manager”,在弹出的窗口中选择“EIP访问”并配置弹性IP信息。 首次访问时,可点击“管理弹性公网IP”,在弹性公网IP控制台购买一个弹性公网IP,购买成功后刷新弹性公网IP列表并选择。 勾选确认信息后,单击“确定”,登录集群的FusionInsight Manager管理界面。 Manager登录用户名为admin,密码为购买集群时配置的用于登录Manager管理界面的“admin”用户的自定义密码。 在“主页”页签的集群名称后单击,单击“下载客户端”下载集群客户端。 图2 下载客户端 在“下载集群客户端”弹窗中,配置以下参数: 选择客户端类型:选择“完整客户端”。 选择平台类型:默认勾选即可,例如“x86_64”。 勾选“仅保存到如下路径”,使用默认保存路径,文件生成后将保存在集群主OMS节点的“/tmp/FusionInsight-Client”目录下。 图3 下载集群客户端提示框 单击“确定”后,等待客户端软件生成成功。 在MRS服务管理控制台的集群列表中,单击集群名称,在集群的“节点管理”页签,单击包含“master1”的节点名称,在ECS详情页面单击右上角的“远程登录”登录Master1节点。 图4 查看Master1节点 使用root用户登录Master1节点,密码为购买集群时配置的用于登录集群节点的“root”用户自定义密码。 执行以下命令切换到客户端软件包所在目录,并解压客户端软件包: cd /tmp/FusionInsight-Client/ tar -xvf FusionInsight_Cluster_1_Services_Client.tar tar -xvf FusionInsight_Cluster_1_Services_ClientConfig.tar 执行以下命令进入安装包所在目录,安装客户端: cd FusionInsight_Cluster_1_Services_ClientConfig 执行如下命令安装客户端到指定目录(绝对路径),例如安装到“/opt/client”目录,等待客户端安装完成。 ./install.sh /opt/client ... ... component client is installed successfully ... 客户端安装目录可以不存在,会自动创建。但如果存在,则必须为空,目录路径不能包含空格。且客户端安装目录路径只能包含大写字母、小写字母、数字以及_字符。
  • 步骤二:安装集群客户端 MRS集群创建成功后,用户可安装集群客户端用于连接集群内各组件服务,进行作业提交等操作。 客户端可以安装在集群内的节点上,也可以安装在集群外的节点上。本指南以在Master1节点上安装客户端为例进行介绍。 MRS集群创建成功后,在集群列表中单击MRS集群名称进入集群概览页面。 单击“集群管理页面 ”后的“前往 Manager”,在弹出的窗口中选择“EIP访问”并配置弹性IP信息。 首次访问时,可点击“管理弹性公网IP”,在弹性公网IP控制台购买一个弹性公网IP,购买成功后刷新弹性公网IP列表并选择。 勾选确认信息后,单击“确定”,登录集群的FusionInsight Manager管理界面。 Manager登录用户名为admin,密码为购买集群时配置的用于登录Manager管理界面的“admin”用户的自定义密码。 在“主页”页签的集群名称后单击,单击“下载客户端”下载集群客户端。 图2 下载客户端 在“下载集群客户端”弹窗中,配置以下参数: 选择客户端类型:选择“完整客户端”。 选择平台类型:默认勾选即可,例如“x86_64”。 勾选“仅保存到如下路径”,使用默认保存路径,文件生成后将保存在集群主OMS节点的“/tmp/FusionInsight-Client”目录下。 图3 下载集群客户端提示框 单击“确定”后,等待客户端软件生成成功。 在MRS服务管理控制台的集群列表中,单击集群名称,在集群的“节点管理”页签,单击包含“master1”的节点名称,在ECS详情页面单击右上角的“远程登录”登录Master1节点。 图4 查看Master1节点 使用root用户登录Master1节点,密码为购买集群时配置的用于登录集群节点的“root”用户自定义密码。 执行以下命令切换到客户端软件包所在目录,并解压客户端软件包: cd /tmp/FusionInsight-Client/ tar -xvf FusionInsight_Cluster_1_Services_Client.tar tar -xvf FusionInsight_Cluster_1_Services_ClientConfig.tar 执行以下命令进入安装包所在目录,安装客户端: cd FusionInsight_Cluster_1_Services_ClientConfig 执行如下命令安装客户端到指定目录(绝对路径),例如安装到“/opt/client”目录,等待客户端安装完成。 ./install.sh /opt/client ... ... component client is installed successfully ... 客户端安装目录可以不存在,会自动创建。但如果存在,则必须为空,目录路径不能包含空格。且客户端安装目录路径只能包含大写字母、小写字母、数字以及_字符。
  • 步骤一:创建MRS集群 进入购买MRS集群页面。 在服务列表中搜索“MapReduce服务 MRS”,进入MRS服务管理控制台。 单击“购买集群”,进入“购买集群”页面,选择“快速购买”页签。 根据实际业务规划情况填写集群配置信息(本示例为快速创建按需计费的MRS 3.2.0-LTS.1版本集群,如需了解更多参数配置请参考快速创建MRS集群)。 表1 MRS集群配置参数 参数名称 参数说明 取值 计费模式 选择待创建的集群的计费模式,MRS提供“包年/包月”与“按需计费”两种计费模式。 按需计费是一种后付费模式,即先使用再付费,按照MRS集群实际使用时长计费。 按需计费 区域 选择区域。 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。 华北-北京四 集群名称 待创建的MRS集群名称。 mrs_demo 集群类型 根据业务实际需要选择待创建的MRS集群类型。“自定义”类型集群提供丰富的组件搭配,可自行选择对应版本MRS集群所支持的所有组件。 自定义 版本类型 待创建的MRS集群版本类型。 LTS版 集群版本 待创建的MRS集群版本,不同版本所包含的开源组件版本及功能特性可能不同,推荐选择最新版本。 MRS 3.2.0-LTS.1 组件选择 基于系统预置的集群模板选择要购买的集群组件。 ClickHouse集群 可用区 选择集群工作区域下关联的可用区。 可用区1 虚拟私有云 选择需要创建集群的VPC,单击“查看虚拟私有云”进入VPC服务查看已创建的VPC名称和ID。如果没有VPC,需要创建一个新的VPC。 vpc-default 子网 选择需要创建集群的子网,可进入VPC服务查看VPC下已创建的子网名称和ID。如果VPC下未创建子网,请单击“创建子网”进行创建。 subnet-default 集群节点 配置集群节点信息。 保持默认 Kerberos认证 是否启用Kerberos认证。 不开启 用户名 登录集群管理页面及ECS节点的用户名。 admin/root 密码 设置登录集群管理页面及ECS节点用户的密码。 - 确认密码 再次输入设置用户密码。 - 企业项目 选择集群所属的企业项目。 default 通信安全授权 勾选确认授权。 勾选 图1 购买ClickHouse集群 单击“立即购买”,进入任务提交成功页面。 单击“返回集群列表”,在“现有集群”列表中可以查看到集群创建的状态。 集群创建需要时间,所创集群的初始状态为“启动中”,创建成功后状态更新为“运行中”,请您耐心等待。
  • 步骤三:安装集群客户端 MRS集群创建成功后,用户可安装集群客户端用于连接集群内各组件服务,进行作业提交等操作。 客户端可以安装在集群内的节点上,也可以安装在集群外的节点上。本指南以在Master1节点上安装客户端为例进行介绍。 MRS集群创建成功后,在集群列表中单击MRS集群名称进入集群概览页面。 单击“集群管理页面 ”后的“前往 Manager”,在弹出的窗口中选择“EIP访问”并配置弹性IP信息。 首次访问时,可点击“管理弹性公网IP”,在弹性公网IP控制台购买一个弹性公网IP,购买成功后刷新弹性公网IP列表并选择。 勾选确认信息后,单击“确定”,登录集群的FusionInsight Manager管理界面。 Manager登录用户名为admin,密码为购买集群时配置的用于登录Manager管理界面的“admin”用户的自定义密码。 在“主页”页签的集群名称后单击,单击“下载客户端”下载集群客户端。 图5 下载客户端 在“下载集群客户端”弹窗中,配置以下参数: 选择客户端类型:选择“完整客户端”。 选择平台类型:默认勾选即可,例如“x86_64”。 勾选“仅保存到如下路径”,使用默认保存路径,文件生成后将保存在集群主OMS节点的“/tmp/FusionInsight-Client”目录下。 图6 下载集群客户端提示框 单击“确定”后,等待客户端软件生成成功。 在MRS服务管理控制台的集群列表中,单击集群名称,在集群的“节点管理”页签,单击包含“master1”的节点名称,在ECS详情页面单击右上角的“远程登录”登录Master1节点。 图7 查看Master1节点 使用root用户登录Master1节点,密码为购买集群时配置的用于登录集群节点的“root”用户自定义密码。 执行以下命令切换到客户端软件包所在目录,并解压客户端软件包: cd /tmp/FusionInsight-Client/ tar -xvf FusionInsight_Cluster_1_Services_Client.tar tar -xvf FusionInsight_Cluster_1_Services_ClientConfig.tar 执行以下命令进入安装包所在目录,安装客户端: cd FusionInsight_Cluster_1_Services_ClientConfig 执行如下命令安装客户端到指定目录(绝对路径),例如安装到“/opt/client”目录,等待客户端安装完成。 ./install.sh /opt/client ... ... component client is installed successfully ... 客户端安装目录可以不存在,会自动创建。但如果存在,则必须为空,目录路径不能包含空格。且客户端安装目录路径只能包含大写字母、小写字母、数字以及_字符。
  • 步骤四:准备应用程序及数据 MRS集群创建成功后,可获取集群客户端内的wordcount样例程序进行运行,也可准备上层业务自行开发的大数据应用程序并上传至集群。本指南以运行MRS集群客户端内的wordcount样例程序为例进行介绍,需先准备wordcount样例程序运行所需的数据文件。 以root用户登录Master1节点。 准备数据文件。 数据文件无格式要求,例如文件名为“wordcount1.txt”和“wordcount2.txt”,内容如下所示: vi /opt/wordcount1.txt hello word hello wordcount vi /opt/wordcount2.txt hello mapreduce hello hadoop 执行以下命令切换到客户端安装目录,配置环境变量并创建用于存放样例数据的HDFS目录,例如“/user/example/input”。 cd /opt/client source bigdata_env kinit test(test为6创建的用户名,如果该用户首次登录,需修改初始密码) hdfs dfs -mkdir /user/example hdfs dfs -mkdir /user/example/input 6创建的test用户仅具有“/user”目录的“读”、“写”和“执行”权限,如果在“/user”之外其他目录中创建“input”目录会报权限不足错误,例如: hdfs dfs -mkdir /hbase/input 命令执行后会报如下错误: mkdir: Permission denied: user=test, access=EXECUTE, inode="/hbase":hbase:hadoop:drwxrwx--T 执行以下命令,将样例数据上传至HDFS。 hdfs dfs -put /opt/wordcount1.txt /user/example/input hdfs dfs -put /opt/wordcount2.txt /user/example/input
  • 操作流程 开始使用如下样例前,请务必按准备工作指导完成必要操作。 步骤一:创建MRS集群:创建一个MRS 3.2.0-LTS.1版本开启Kerberos认证的“Hadoop分析集群”。 步骤二:创建集群用户:在FusionInsight Manager界面创建一个具有提交wordcount作业权限的角色并绑定给用户。 步骤三:安装集群客户端:下载并安装MRS集群客户端。 步骤四:准备应用程序及数据:准备MRS集群客户端内wordcount样例程序运行所需的数据文件。 步骤五:提交作业并查看结果:在集群客户端提交wordcount数据分析作业并查看执行结果。
  • 步骤一:创建MRS集群 进入购买MRS集群页面。 在服务列表中搜索“MapReduce服务 MRS”,进入MRS服务管理控制台。 单击“购买集群”,进入“购买集群”页面,选择“快速购买”页签。 根据实际业务规划情况填写集群配置信息(本示例为快速创建按需计费的MRS 3.2.0-LTS.1版本集群,如需了解更多参数配置请参考快速创建MRS集群)。 表1 MRS集群配置参数 参数名称 参数说明 取值样例 计费模式 选择待创建的集群的计费模式,MRS提供“包年/包月”与“按需计费”两种计费模式。 按需计费是一种后付费模式,即先使用再付费,按照MRS集群实际使用时长计费。 按需计费 区域 选择区域。 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。 华北-北京四 集群名称 待创建的MRS集群名称。 mrs_demo 集群类型 根据业务实际需求选择待创建的MRS集群类型。“自定义”类型集群提供丰富的组件搭配,可自行选择对应版本MRS集群所支持的所有组件。 自定义 版本类型 待创建的MRS集群版本类型。 普通版 集群版本 待创建的MRS集群版本,不同版本所包含的开源组件版本及功能特性可能不同,推荐选择最新版本。 MRS 3.2.0-LTS.1 组件选择 基于系统预置的集群模板选择要购买的集群组件。 Hadoop分析集群 可用区 选择集群工作区域下关联的可用区。 可用区1 虚拟私有云 选择需要创建集群的VPC,单击“查看虚拟私有云”进入VPC服务查看已创建的VPC名称和ID。如果没有VPC,需要创建一个新的VPC。 vpc-default 子网 选择需要创建集群的子网,可进入VPC服务查看VPC下已创建的子网名称和ID。如果VPC下未创建子网,请单击“创建子网”进行创建。 subnet-default 集群节点 配置集群节点信息。 保持默认 Kerberos认证 是否启用Kerberos认证。 开启 用户名 登录集群管理页面及ECS节点的用户名。 admin/root 密码 设置登录集群管理页面及ECS节点用户的密码。 - 确认密码 再次输入设置用户密码。 - 企业项目 选择集群所属的企业项目。 default 通信安全授权 勾选确认授权。 勾选 图1 购买Hadoop分析集群 单击“立即购买”,进入任务提交成功页面。 单击“返回集群列表”,在“现有集群”列表中可以查看到集群创建的状态。 集群创建需要时间,所创集群的初始状态为“启动中”,创建成功后状态更新为“运行中”,请您耐心等待。
  • 步骤一:创建MRS集群 进入购买MRS集群页面。 在服务列表中搜索“MapReduce服务 MRS”,进入MRS服务管理控制台。 单击“购买集群”,进入“购买集群”页面,选择“快速购买”页签。 根据实际业务规划情况填写集群配置信息(本示例为快速创建按需计费的MRS 3.2.0-LTS.1版本集群,如需了解更多参数配置请参考快速创建MRS集群)。 表1 MRS集群配置参数 参数名称 参数说明 取值样例 计费模式 选择待创建的集群的计费模式,MRS提供“包年/包月”与“按需计费”两种计费模式。 按需计费是一种后付费模式,即先使用再付费,按照MRS集群实际使用时长计费。 按需计费 区域 选择区域。 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。 华北-北京四 集群名称 待创建的MRS集群名称。 mrs_demo 集群类型 根据业务实际需要选择待创建的MRS集群类型。“自定义”类型集群提供丰富的组件搭配,可自行选择对应版本MRS集群所支持的所有组件。 自定义 版本类型 待创建的MRS集群版本类型,不同版本所包含的开源组件版本及功能特性可能不同,推荐选择最新版本。 LTS版 集群版本 待创建的MRS集群版本。 MRS 3.2.0-LTS.1 组件选择 基于系统预置的集群模板选择要购买的集群组件。 实时分析集群 可用区 选择集群工作区域下关联的可用区。 可用区1 虚拟私有云 选择需要创建集群的VPC,单击“查看虚拟私有云”进入VPC服务查看已创建的VPC名称和ID。如果没有VPC,需要创建一个新的VPC。 vpc-default 子网 选择需要创建集群的子网,可进入VPC服务查看VPC下已创建的子网名称和ID。如果VPC下未创建子网,请单击“创建子网”进行创建。 subnet-default 集群节点 配置集群节点信息。 保持默认 Kerberos认证 是否启用Kerberos认证。 不开启 用户名 登录集群管理页面及ECS节点的用户名。 admin/root 密码 设置登录集群管理页面及ECS节点用户的密码。 - 确认密码 再次输入设置用户密码。 - 企业项目 选择集群所属的企业项目。 default 通信安全授权 勾选确认授权。 勾选 图1 购买实时分析集群 单击“立即购买”,进入任务提交成功页面。 单击“返回集群列表”,在“现有集群”列表中可以查看到集群创建的状态。 集群创建需要时间,所创集群的初始状态为“启动中”,创建成功后状态更新为“运行中”,请您耐心等待。
  • 步骤二:安装集群客户端 MRS集群创建成功后,用户可安装集群客户端用于连接集群内各组件服务,进行作业提交等操作。 客户端可以安装在集群内的节点上,也可以安装在集群外的节点上。本指南以在Master1节点上安装客户端为例进行介绍。 MRS集群创建成功后,在集群列表中单击MRS集群名称进入集群概览页面。 单击“集群管理页面 ”后的“前往 Manager”,在弹出的窗口中选择“EIP访问”并配置弹性IP信息。 首次访问时,可点击“管理弹性公网IP”,在弹性公网IP控制台购买一个弹性公网IP,购买成功后刷新弹性公网IP列表并选择。 勾选确认信息后,单击“确定”,登录集群的FusionInsight Manager管理界面。 Manager登录用户名为admin,密码为购买集群时配置的用于登录Manager管理界面的“admin”用户的自定义密码。 在“主页”页签的集群名称后单击,单击“下载客户端”下载集群客户端。 图2 下载客户端 在“下载集群客户端”弹窗中,配置以下参数: 选择客户端类型:选择“完整客户端”。 选择平台类型:默认勾选即可,例如“x86_64”。 勾选“仅保存到如下路径”,使用默认保存路径,文件生成后将保存在集群主OMS节点的“/tmp/FusionInsight-Client”目录下。 图3 下载集群客户端提示框 单击“确定”后,等待客户端软件生成成功。 在MRS服务管理控制台的集群列表中,单击集群名称,在集群的“节点管理”页签,单击包含“master1”的节点名称,在ECS详情页面单击右上角的“远程登录”登录Master1节点。 图4 查看Master1节点 使用root用户登录Master1节点,密码为购买集群时配置的用于登录集群节点的“root”用户自定义密码。 执行以下命令切换到客户端软件包所在目录,并解压客户端软件包: cd /tmp/FusionInsight-Client/ tar -xvf FusionInsight_Cluster_1_Services_Client.tar tar -xvf FusionInsight_Cluster_1_Services_ClientConfig.tar 执行以下命令进入安装包所在目录,安装客户端: cd FusionInsight_Cluster_1_Services_ClientConfig 执行如下命令安装客户端到指定目录(绝对路径),例如安装到“/opt/client”目录,等待客户端安装完成。 ./install.sh /opt/client ... ... component client is installed successfully ... 客户端安装目录可以不存在,会自动创建。但如果存在,则必须为空,目录路径不能包含空格。且客户端安装目录路径只能包含大写字母、小写字母、数字以及_字符。
  • 响应示例 { "resCode": "0", "resMsg": "成功", "result": [{ "active": true, "apiVersion": null, "belongTo": null, "createdBy": "10gd000001DHHEwmE1NQ", "createdBy.__objectType": "User", "createdBy.name": "test00xx", "createdDate": "2024-06-11 11:27:02", "custom": true, "description": null, "event": "BeforeInsert", "event.name": "BeforeInsert", "id": "001i000001Docd70WYZU", "installedPackage": null, "jscode": "Hello, world;rn", "label": "Trigger 01", "lastModifiedBy": "10gd000001DHHEwmE1NQ", "lastModifiedBy.__objectType": "User", "lastModifiedBy.name": "test00xx", "lastModifiedDate": "2024-06-11 11:27:02", "name": "Trigger_01", "objectId": "cust000001Dgez2L19N2", "objectId.__objectType": "Object", "objectId.name": "Test__t1__CST", "owner": "10gd000001DHHEwmE1NQ", "owner.__objectType": "User", "owner.name": "test00xx", "protectMode": 0, "script": "string", "sourceMap": null, "visibility": 0 } ] }
  • 响应参数 表3 响应参数 参数 参数类型 描述 resCode String 参数解释: 返回码。 取值范围: 如果返回“0”代表请求成功,其他错误码说明请参考错误码。 resMsg String 参数解释: 返回消息。 取值范围: 如果成功状态,通常会返回“Success”,其他情况会返回具体的错误信息。 result string 参数解释: 成功返回会返回Object的一个ID值。 取值范围: 不涉及。
  • 请求示例 根据object_id新增trigger。 POST https://AstroZero 域名 /u-route/baas/metadata/v1.0/Object/cust000000aKtFZpERvc/Trigger { "name": "Trigger_01", "label": "Trigger 01", "description": null, "script": "string", "jscode": "Hello, world;rn", "active": true, "event": "BeforeInsert" }
  • 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 name 是 String 参数解释: 新增触发器的名称。 约束限制: 不涉及。 取值范围: 必须以英文字母开头,只能由英文字母,数字和单下划线组成,没有连续的下划线,不能以单下划线结尾,且长度不能超过64个字符。 默认取值: 不涉及。 label 否 String 参数解释: 新增触发器的标签。 约束限制: 不涉及。 取值范围: 1~64个字符。 默认取值: 不涉及。 description 否 String 参数解释: 触发器的描述信息。 约束限制: 不涉及。 取值范围: 1~255个字符。 默认取值: 不涉及。 script 是 String 参数解释: 脚本名,即基于哪个脚本实现触发器的功能。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 jscode 否 string 参数解释: 触发器中的JavaScript代码。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 active 否 String 参数解释: 是否激活触发器。 约束限制: 不涉及。 取值范围: true:表示激活。 false:表示不激活。 默认取值: false event 否 String 参数解释: 满足什么条件时启动触发器。 约束限制: 不涉及。 取值范围: 可选择BeforeInsert、AfterInsert、BeforeUpdate,AfterUpdate、BeforeDelete或AfterDelete。 默认取值: 不涉及。
  • 响应参数 表3 响应参数 参数 参数类型 描述 resCode String 参数解释: 返回码。 取值范围: 如果返回“0”代表请求成功,其他错误码说明请参考错误码。 resMsg String 参数解释: 返回消息。 取值范围: 如果成功状态,通常会返回“Success”,其他情况会返回具体的错误信息。 result Number 参数解释: 更新记录的个数,成功时携带。 取值范围: 不涉及。
共100000条