云服务器内容精选

  • 连接代码 SSL开启 import ssl from pymongo import MongoClient conn_urls="mongodb://rwuser:rwuserpassword@ip:port/{mydb}?authSource=admin" connection = MongoClient(conn_urls,connectTimeoutMS=5000,ssl=True, ssl_cert_reqs=ssl.CERT_REQUIRED,ssl_match_hostname=False,ssl_ca_certs=${path to certificate authority file}) dbs = connection.database_names() print "connect database success! database names is %s" % dbs SSL关闭 import ssl from pymongo import MongoClient conn_urls="mongodb://rwuser:rwuserpassword@ip:port/{mydb}?authSource=admin" connection = MongoClient(conn_urls,connectTimeoutMS=5000) dbs = connection.database_names() print "connect database success! database names is %s" % dbs
  • 前提条件 连接数据库的弹性云服务器必须和DDS实例之间网络互通,可以使用curl命令连接DDS实例服务端的IP和端口号,测试网络连通性。 curl ip:port 返回“It looks like you are trying to access MongoDB over HTTP on the native driver port.”,说明网络互通。 在弹性云服务器上安装Python以及第三方安装包pymongo。推荐使用pymongo2.8版本。 如果开启SSL,需要在界面上下载根证书,并上传到弹性云服务器。
  • 非SSL方式 使用非SSL方式连接,请务必关闭SSL连接,否则会出现报错。如何关闭SSL连接,请参见开启和关闭SSL连接。 打开Robo 3T工具,在连接信息页面,单击“Create”。 图8 连接信息 在弹出的“Connection Settings”窗口,设置新建连接的参数。 在“Connection”页签,“Name”填写自定义的新建连接的名称,“Address”填写集群实例绑定的弹性IP和实例的数据库端口。 图9 Connection 在“Authentication”页签,“Database”填写admin,“User Name”填写rwuser,“Password”填写您创建集群实例时设置的管理员密码。 图10 Authentication 在“TLS”页签,勾选“Use TLS protocol”,“Authentication Method”选择“Self-signed Certificate”。 图11 SSL 设置完成后,单击“Save”。 在连接信息页面,单击“Connect”,开始连接单节点实例。 图12 单节点连接信息 成功连接单节点实例,工具界面显示如图13所示。 图13 单节点连接成功
  • SSL方式 使用SSL方式连接,请务必开启SSL连接,否则会报错。关于如何开启SSL连接,请参见开启和关闭SSL连接。 打开Robo 3T工具,在连接信息页面,单击“Create”。 图2 连接信息 在弹出的“Connection Settings”窗口,设置新建连接的参数。 在“Connection”页签,“Name”填写自定义的新建连接的名称,“Address”填写集群实例绑定的弹性IP和实例的数据库端口。 图3 Connection 在“Authentication”页签,“Database”填写admin,“User Name”填写rwuser,“Password”填写您创建集群实例时设置的管理员密码。 图4 Authentication 在“TLS”页签,勾选“Use TLS protocol”,“Authentication Method”选择“Self-signed Certificate”。 图5 SSL 设置完成后,单击“Save”。 在连接信息页面,单击“Connect”,开始连接单节点实例。 图6 单节点连接信息 成功连接单节点实例,工具界面显示如图7所示。 图7 单节点连接成功
  • 实例连接方式介绍 文档数据库服务提供使用内网和公网的连接方式。 表1 连接方式 连接方式 IP地址 使用场景 说明 DAS连接 无需使用IP地址 通过数据管理服务管理数据,具备友好的图形化界面,直接在控制台上进行可视化操作。可获得执行SQL、高级数据库管理、智能化运维等功能,做到易用、安全、智能地管理数据库。 易用、安全、高级、智能。 推荐使用DAS连接。 内网连接 内网IP地址 系统默认提供内网IP地址。 当应用部署在弹性云服务器上,且该弹性云服务器与文档数据库实例处于同一区域、可用区、虚拟私有云子网内,建议单独使用内网IP地址通过弹性云服务器连接文档数据库实例。 安全性高,可实现DDS的较好性能。 公网连接 弹性公网IP 当应用部署在弹性云服务器上,且弹性云服务器该与文档数据库实例处于不同区域时,建议单独使用弹性公网IP通过弹性云服务器连接文档数据库实例。 当应用部署在其他云服务的系统上时,建议单独使用弹性公网IP通过弹性云服务器连接文档数据库实例。 降低安全性。 为了获得更快的传输速率和更高的安全性,建议您将应用迁移到与您的DDS实例在同一虚拟私有云子网内,使用内网连接。 父主题: 连接单节点实例
  • 使用须知 实例状态为正常、恢复检查中、转包周期中、修改安全组中时,允许切换主备节点。 主备节点切换可能会造成1分钟的服务闪断,切换前请确认客户端具备重连机制。 新添加的备节点,需要重新配置高可用连接地址,且为保证实例性能,会有12个小时的冻结期,冻结期内的备节点不参与主备切换。 实例必须处于运行状态才可进行主备切换。 主备同步的延迟时间过长时,主备切换耗时可能很久。因此,当主备同步的延迟时间超过300s时,控制台将不允许下发主备切换。关于副本集主备同步的延迟时间,请参见副本集中主备同步存在多长时间的延迟。
  • MRS 集群节点弹性伸缩指标说明 节点组维度策略 在添加规则时,可以参考表1配置相应的指标。 表1 弹性伸缩指标列表 集群类型 指标名称 数值类型 说明 流式集群 StormSlotAvailable 整型 Storm组件的可用slot数。 取值范围为[0~2147483646]。 StormSlotAvailablePercentage 百分比 Storm组件可用slot百分比。是可用slot数与总slot数的比值。 取值范围为[0~100]。 StormSlotUsed 整型 Storm组件的已用slot数。 取值范围为[0~2147483646]。 StormSlotUsedPercentage 百分比 Storm组件已用slot百分比。是已用slot数与总slot数的比值。 取值范围为[0~100]。 StormSupervisorMemAverageUsage 整型 Storm组件Supervisor的内存平均使用量。 取值范围为[0~2147483646]。 StormSupervisorMemAverageUsagePercentage 百分比 Storm组件Supervisor进程使用的内存占系统总内存的平均百分比。 取值范围[0 ~ 100]。 StormSupervisorCPUAverageUsagePercentage 百分比 Storm组件Supervisor进程使用的CPU占系统总CPU的平均百分比。 取值范围[0 ~ 6000]。 分析集群 YARNAppPending 整型 YARN组件挂起的任务数。 取值范围为[0~2147483646]。 YARNAppPendingRatio 比率 YARN组件挂起的任务数比例。是YARN挂起的任务数与YARN运行中的任务数比值。 取值范围为[0~2147483646]。 YARNAppRunning 整型 YARN组件运行中的任务数。 取值范围为[0~2147483646]。 YARNContainerAllocated 整型 YARN组件中已分配的container个数。 取值范围为[0~2147483646]。 YARNContainerPending 整型 YARN组件挂起的container个数。 取值范围为[0~2147483646]。 YARNContainerPendingRatio 比率 YARN组件挂起的container比率。是挂起的container数与运行中的container数的比值。 取值范围为[0~2147483646]。 YARNCPUAllocated 整型 YARN组件已分配的虚拟CPU核心数。 取值范围为[0~2147483646]。 YARNCPUAvailable 整型 YARN组件可用的虚拟CPU核心数。 取值范围为[0~2147483646]。 YARNCPUAvailablePercentage 百分比 YARN组件可用虚拟CPU核心数百分比。是可用虚拟CPU核心数与总虚拟CPU核心数比值。 取值范围为[0~100]。 YARNCPUPending 整型 YARN组件挂起的虚拟CPU核心数。 取值范围为[0~2147483646]。 YARNMemoryAllocated 整型 YARN组件已分配内存大小。单位为MB。 取值范围为[0~2147483646]。 YARNMemoryAvailable 整型 YARN组件可用内存大小。单位为MB。 取值范围为[0~2147483646]。 YARNMemoryAvailablePercentage 百分比 YARN组件可用内存百分比。是YARN组件可用内存大小与YARN组件总内存大小的比值。 取值范围为[0~100]。 YARNMemoryPending 整型 YARN组件挂起的内存大小。 取值范围为[0~2147483646]。 表1中指标数值类型为百分比或比率时,有效数值可精确到百分位。其中百分比类型指标数值为去除百分号(%)后的小数值,如16.80即代表16.80%。 混合集群的支持分析集群和流式集群的所有指标。 资源池维度策略 在添加规则时,可以参考表2配置相应的指标。 MRS 3.1.5及其之后的版本支持配置资源池维度策略。 表2 规则配置项说明 集群类型 指标名称 数值类型 说明 分析集群/自定义集群 ResourcePoolMemoryAvailable 整型 资源池YARN组件可用内存大小。单位为MB。 取值范围为[0~2147483646]。 ResourcePoolMemoryAvailablePercentage 百分比 资源池YARN组件可用内存百分比。是YARN组件可用内存大小与YARN组件总内存大小的比值。 取值范围为[0~100]。 ResourcePoolCPUAvailable 整型 资源池YARN组件可用的虚拟CPU核心数。 取值范围为[0~2147483646]。 ResourcePoolCPUAvailablePercentage 百分比 资源池YARN组件可用虚拟CPU核心数百分比。是可用虚拟CPU核心数与总虚拟CPU核心数比值。 取值范围为[0~100]。 在添加资源计划时,可以参考表3配置相应的参数。 表3 资源计划配置项说明 配置项 示例 说明 生效日期 周一 资源计划的生效日期。默认是每日生效,也可以选择周一至周日任意一天或几天生效。 时间范围 08:00-10:00 资源计划的起始时间和结束时间,精确到分钟,取值范围[00:00, 23:59]。例如资源计划开始于早上8:00,结束于10:00,则配置为8:00-10:00。结束时间必须晚于开始时间至少30分钟。 节点数量范围 4-5 资源计划内的节点数量上下限,取值范围[0,500],在资源计划时间内,集群Task节点数量小于最小节点数时,弹性伸缩会将集群Task节点一次性扩容到最小节点数。在资源计划时间内,集群Task节点数量大于最大节点数时,弹性伸缩会将集群Task节点一次性缩容到最大节点数。最小节点数必须小于或等于最大节点数。 当启用资源计划时,弹性伸缩配置中的“默认节点数量范围”将在资源计划外的时间段内强制生效。例如“默认节点数量范围”配置为1-2,配置资源计划:08:00-10:00之间节点数量范围为4-5,则在一天中的非资源计划时间段(0:00-8:00以及10:00-23:59)内,Task节点会被强制限制在1个到2个中间,若节点数量大于2则触发自动缩容,若节点数量小于1则触发自动扩容。 当不启用资源计划时,节点数量范围的“默认范围”会在全部时间范围生效,如果节点数量不在“节点数量范围”的默认范围,主动增减Task节点数量到默认范围内。 资源计划间时间段不可交叉,时间段交叉意为某个时间点存在两个生效的资源计划,例如配置资源计划1在08:00-10:00生效,资源计划2在09:00-11:00生效,则两个资源计划存在时间段交叉,交叉时间段09:00-10:00。 资源计划不能跨天配置,例如要配置23:00至次日01:00的资源计划,请配置时间段为23:00-00:00和00:00-01:00的两个资源计划。 自动化脚本 在添加自动化脚本时,可以参考表4配置相应参数。 表4 自动化脚本配置说明 配置项 示例 说明 名称 test 自动化脚本的名称。 只能由数字、英文字符、空格、中划线和下划线组成,且不能以空格开头。 可输入的字符串长度为1~64个字符。 说明: 同一集群内,不允许配置相同的名称。不同集群之间,可以配置相同的名称。 脚本路径 obs://mrs-samples/test.sh 脚本的路径。路径可以是OBS文件系统的路径或虚拟机本地的路径。 OBS文件系统的路径,必须以obs://开头,以.sh结尾。例如:obs://mrs-samples/xxx.sh 虚拟机本地的路径,脚本所在的路径必须以‘/’开头,以.sh结尾。例如,安装Zepelin的示例脚本路径如下:/opt/bootstrap/zepelin/zepelin_install.sh 执行节点 Master节点 选择自动化脚本所执行的节点类型。 说明: 如果选择Master节点,您可以通过开关选择是否只在Active Master节点执行此脚本。 如果选择开启此功能,表示只在Active Master节点上执行。如果选择关闭,表示在所有Master节点执行。默认关闭。 参数 - 自动化脚本参数,支持通过传入以下预定义变量获得弹性伸缩相关信息: ${mrs_scale_node_num} :弹性伸缩节点数量,总是正数 ${mrs_scale_type} :弹性伸缩类型,扩容为“scale_out”,缩容为“scale_in” ${mrs_scale_node_hostnames} :弹性伸缩节点的主机名,多个主机名之间以“,”隔开 ${mrs_scale_node_ips} :弹性伸缩节点的IP,多个IP之间以“,”隔开 ${mrs_scale_rule_name}:触发弹性伸缩的规则名,如果是资源计划则为“resource_plan” 执行时机 扩容前 选择自动化脚本执行的时间。支持“扩容前”、“扩容后”、“缩容前”、“缩容后”四种类型。 说明: 假设执行节点类型中包含Task节点: 执行时机为扩容前的脚本不会在将要扩容出的Task节点上执行。 执行时机为扩容后的脚本会在扩容出的Task节点上执行。 执行时机为缩容前的脚本会在即将被删除的Task节点上执行。 执行时机为缩容后的脚本不会在已经被删除的Task节点上执行。 失败操作 继续 该脚本执行失败后,是否继续执行后续脚本和扩缩容操作。 说明: 建议您在调试阶段设置为“继续”,无论此脚本是否执行成功,则集群都能继续扩缩容操作。 若脚本执行失败,请到集群虚拟机的“/var/log/Bootstrap”路径下查看失败日志。 由于缩容成功不可回滚,缩容后执行的脚本失败操作只能选择“继续”。 自动化脚本只在弹性伸缩时触发,手动调整集群节点时不会运行。
  • 使用须知 只读节点删除后,不可恢复,请谨慎操作。 当实例中的只读节点个数≥2个时,才可选择删除只读节点,即实例中至少需要保留1个只读节点。 执行操作中的实例不能手动删除只读节点。 可用区类型选择多可用区,只读节点删除后必须保证所有节点不能在同一个可用区内。 例如有2个可用区,可用区一有1个主节点和1个只读节点,可用区二有1个只读节点,那么可用区二的只读节点是不允许被删除的。 删除最后一个Serverless节点时,需要确保Serverless增删只读功能开关已关闭。
  • 循环 循环(while),当满足条件时,重复执行循环块内的逻辑,直到不满足条件或者超出最大循环次数,或者超出超时时间。 图10 循环 输入参数 用户配置终止执行动作,相关参数说明如表12所示。 表12 循环输入参数说明 参数 说明 条件1 是否循环的条件。 最大循环次数 默认值循环5000。 超时时间 默认值30min。 输出参数 用户可以在之后的执行动作中调用该输出参数,输出参数说明请参考表13。 表13 循环输出参数说明 参数 说明 循环次数 循环次数。 节点备注 输入节点备注信息,方便后续查阅节点功能。
  • 异常监控和处理 异常监控和处理(try-catch),左侧为try,右侧为catch。当左侧try分支出现错误时,会进入右侧catch分支,执行右侧的逻辑,如果左侧try逻辑无错误,则继续向下执行。 图11 异常监控和处理 输入参数 该执行动作无输出参数。 输出参数 用户可以在之后的执行动作中调用该输出参数,输出参数说明请参考表14。 表14 循环输出参数说明 参数 说明 异常响应内容 左侧try分支中异常连接器节点的报错信息。 异常连接器 左侧try分支中异常连接器节点的连接器名称。 异常执行动作 左侧try分支中异常连接器节点的执行动作名称。 响应头 存放以上三个异常信息的集合。 节点备注 输入节点备注信息,方便后续查阅节点功能。
  • 多分支条件 用户选择多分支条件后,侧边栏会展示该动作包含的参数,画布上会展示一个多分支条件的白色框,单击“添加分支”,添加业务场景所需要的各个分支条件,同时画布上会展示各个分支条件的信息,分支条件里面可以再添加其他分支。以下图为例: 图7 多分支条件 如果想对多分支条件的当前项进行数据处理,可在多分支条件中进行业务编排。流开始运行时,会先运行多分支条件里面的各个执行动作,之后运行分支以外的执行动作。如果多分支条件运行没有结果,系统默认会按照分支默认条件去执行。 输入参数 用户配置多分支条件执行动作,相关参数说明如表7所示。 表7 多分支条件输入参数说明 参数 是否必填项 说明 多分支条件 是 多分支条件需要满足的条件。 输出参数 用户可以在之后的执行动作中调用该输出参数,输出参数说明请参考表8。 表8 多分支条件输出参数说明 参数 说明 当前项 多分支条件中的当前项。 节点备注 输入节点备注信息,方便后续查阅节点功能。
  • 终止 用户选择该动作后,会弹出侧边栏参数供用户进行填写,包括状态(成功/失败)消息。 当流运行到该步骤时,流程运行终止(如果有后续步骤不会再继续执行)。 图8 终止 输入参数 用户配置终止执行动作,相关参数说明如表9所示。 表9 终止输入参数说明 参数 是否必填项 说明 状态 是 选择运行状态,成功或者失败。 消息 否 运行到该步骤时,发送信息。 输出参数 该执行动作无输出参数。 节点备注 输入节点备注信息,方便后续查阅节点功能。
  • 数据分片 数据分片执行动作可以将数组类型的变量按指定策略进行分组。例如:输入参数为[1,2,3,4],按固定数量策略进行分组,期望分片数量为2,那么最终结果为[[1,2],[3,4]]。如果不能整分,则每小组数量为入参数组长度与期望分片数量相除,结果向上取整,例如:输入参数为[1,2,3,4,5],按固定数量策略进行分组,期望分片数量为2,那么最终结果为[[1,2,3],[4,5]]。 输入参数 用户配置数据分片执行动作,相关参数如表5所示。 表5 数据分片输入参数说明 参数 是否必填项 说明 分片对象 是 数组类型的自定义变量或之前节点的出参。 分片策略 是 设置分片策略,目前策略仅有“固定数量”一种。 分片数量 是 获得数组数量的期望值。 输出参数 用户可以在之后的执行动作中调用该输出参数,输出参数说明请参考表6。 表6 数据分片输出参数说明 参数 说明 执行结果 数据分片是否运行成功。 true:表示成功。 false:表示失败。 数据分片结果 数据分片后的结果,返回值为二维数组。 节点备注 输入节点备注信息,方便后续查阅节点功能。
  • 流程块 流程块(flow block),流程块用来监控上个节点的状态,并进入到流程块中执行流程块里面的逻辑。 图9 流程块 输入参数 用户配置终止执行动作,相关参数说明如表10所示。 表10 流程块输入参数说明 参数 是否必填项 说明 参照对象 是 默认上个节点。 运行条件 是 执行成功/执行失败。 输出参数 用户可以在之后的执行动作中调用该输出参数,输出参数说明请参考表11。 表11 流程块输出参数说明 参数 说明 是否执行 流程块内步骤是否执行。 异常响应内容 异常响应内容。 异常连接器 异常连接器。 异常执行动作 异常执行动作。 节点备注 输入节点备注信息,方便后续查阅节点功能。
  • 分支 用户选择分支后,画布上会展示一个分支的白色框,单击“添加分支”,添加业务场景所需要的各个分支,同时画布上会展示各个分支的信息,最多可以配置五个分支,分支里面可以再添加其他分支。以下图为例: 图6 分支 如果想对分支的当前项进行数据处理,可在分支中进行业务编排。流开始运行时,会先运行分支里面的各个执行动作,之后运行分支以外的执行动作。 输入参数 该执行动作无输入参数。 输出参数 用户可以在之后的执行动作中调用该输出参数,输出参数说明请参考表4。 表4 分支输出参数说明 参数 说明 当前项 分支中的当前项。 节点备注 输入节点备注信息,方便后续查阅节点功能。