云服务器内容精选

  • 前提条件 在创建数据连接前,请确保您已创建所要连接的 数据湖 (如 DataArts Studio 所支持的数据库、云服务等)。 在创建DWS类型的数据连接前,您需要先在DWS服务中创建集群,并且具有KMS密钥的查看权限。 在创建 MRS HBase、MRS Hive等MRS类型的数据连接前,需确保您已购买MRS集群,集群的“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”,并且集群中包含所需要的组件。 在创建数据连接前,请确保您已具备连接所需的Agent代理(即 CDM 集群,如果无可用CDM集群请参考创建CDM集群进行创建),且待连接的数据湖与CDM集群之间网络互通。 如果数据湖为云下的数据库,则需要通过公网或者专线打通网络。请确保数据源所在的主机和CDM集群均能访问公网,并且防火墙规则已开放连接端口。 如果数据湖为云上服务(如DWS、MRS等),则网络互通需满足如下条件: CDM集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。 CDM集群与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,您还必须确保该云服务的实例与DataArts Studio工作空间所属的企业项目必须相同,如果不同,您需要修改工作空间的企业项目。 如果使用企业模式,您还需要注意以下事项: 由于企业模式下需要区分开发环境和生产环境,因此您需要分别准备对应生产环境和开发环境的两套数据湖服务,用于隔离开发和生产环境: 对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、E CS ),如果使用两套集群,DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务,且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息,均应保持一致。创建数据连接的详细操作请参见创建DataArts Studio数据连接。 对于Serverless服务(例如 DLI ),DataArts Studio通过管理中心的环境隔离来配置生产环境和开发环境数据湖服务的对应关系,在开发和生产流程中自动切换对应的数据湖。因此您需要在Serverless数据湖服务中准备两套队列、数据库资源,建议通过名称后缀进行区分,详细操作请参见配置DataArts Studio企业模式环境隔离。 对于DWS、MRS Hive和MRS Spark这三种数据源,如果在创建数据连接时选择同一个集群,则需要配置数据源资源映射的DB数据库映射关系进行开发生产环境隔离,详细操作请参见DB配置。 离线处理集成作业不支持在企业模式下运行。 例如,当您的数据湖服务为MRS集群时,需要准备两套MRS集群,且版本、规格、组件、区域、VPC、子网等保持一致。如果某个MRS集群修改了某些配置,也需要同步到另一套MRS集群上。
  • 参考 为什么在创建数据连接的界面上MRS Hive集群不显示? 出现该问题的可能原因有: 创建MRS集群时未选择Hive/HBase组件。 创建MRS集群时所选择的企业项目与工作空间的企业项目不同。 创建MRS数据连接时所选择的CDM集群和MRS集群网络不互通。 CDM集群作为网络代理,与MRS集群需网络互通才可以成功创建基于MRS的数据连接。 为什么Hive数据连接突然无法获取数据库或表的信息? 可能是由于CDM集群被关闭或者并发冲突导致,您可以通过切换agent代理来临时规避此问题。
  • 准备依赖资源 在创建多活实例前您需要提前准备相关依赖资源,包括VPC、子网和安全组。每个多活实例都部署在某个虚拟私有云(VPC)中,并绑定具体的子网和安全组,通过这样的方式为MAS提供一个隔离的、用户自主配置和管理的虚拟网络环境以及安全保护策略。 创建VPC和子网的操作指导请参考创建虚拟私有云和子网,若需要在已有VPC上创建和使用新的子网,请参考为虚拟私有云创建新的子网。 创建安全组的操作指导请参考创建安全组,为安全组添加规则的操作指导请参考添加安全组规则。
  • 解决方法 在用户或业务用户详情页面中,查看用户所拥有的权限。 如果是System Administrator Profile,默认是30分钟,无法修改。 如果是其他权限,请执行2。 通过所分配Profile权限的“访问凭证时长”来控制session有效期。访问凭证与刷新凭证必须同时为默认或者自定义。 用户(即平台用户,AstroZero的开发者账号,用来管理应用和业务用户) 一般情况下,只有具备“System Administrator Profile”权限的管理员用户,才可修改平台用户权限的“访问凭证时长”。平台用户只能查看,不能修改自己权限的“访问凭证时长”参数值。 图1 Profile权限编辑页面 业务用户:根据业务用户详情页“权限集”下,第一个Profile权限的“访问凭证时长”,来控制session有效期。如果未配置Profile权限,则使用“Portal User Profile”权限的“访问凭证时长”。 图2 业务用户详情页
  • 开启日志监控 AstroZero提供日志跟踪功能,用户在AstroZero中进行操作时,可开启日志跟踪来下载和后台交互产生的日志。 参考登录管理中心中操作,登录AstroZero管理中心。 单击页面右下方的,进入开启日志跟踪页面。 单击,可以开启十分钟内的AstroZero的后台日志追踪。 如果需要停止跟踪,可单击,将停止追踪且不会获取日志文件。 图3 开启日志跟踪 表2 日志跟踪参数说明 参数 说明 日志级别 日志级别,取值说明如下: 会话级:只打印当前会话的日志。 租户级:打印租户所有会话的日志。 日志类型 日志类型,取值说明如下: 业务日志:输出业务相关的跟踪日志。 完整日志:输出业务日志,以及数据库、中间件等的详细日志,主要用于AstroZero问题定位。 下载日志文件。 单击下载,可下载日志文件。下载后会自动停止跟踪,日志格式为“时间|操作ID|业务部件|动作描述”。 单击,可从新窗口打开日志跟踪页面。 单击,可最小化显示日志跟踪页面。 单击最小化图标后,日志跟踪页面将会被隐藏。在AstroZero管理中心页面的右下角,可以看到日志跟踪剩余时间。单击该时间,将重新弹出日志跟踪页面。 图4 日志跟踪时间
  • 数据调试 AstroZero管理中心提供了前端调试功能,可以执行部分SQL命令收集信息,便于定位问题。该功能类似MySQL命令行,可对数据进行操作。目前只支持查询数据,获取在查询过程中的执行计划、重建索引、查看索引、清理缓存、统计表记录数量、查看表中元数据、创建、删除、重建、搜索引擎索引,以及查看搜索引擎的索引信息等。 参考登录管理中心中操作,登录AstroZero管理中心。 单击页面右下方的,进入数据调试控制台页面。 控制台页面如图5所示,界面分为多个区域,展示不同的内容。 区域1:数据调试控制台支持的所有操作。 对象管理:关于对象表的操作。 缓存管理:对AstroZero系统的缓存进行管理,主要是清理所有缓存或清理某个特定缓存的命令。 任务查询:对AstroZero的一些历史任务或表数据统计的可用命令展示。 搜索管理:展示Elasticsearch中的可搜索表或字段。 区域2:根据区域1的操作从而展示对应的内容。 单击区域1的“对象管理”,则会在区域2中展示该用户有权限看到的所有表。 单击区域1“缓存管理”,则会在区域2中展示管理缓存相关的命令。 单击区域1“任务查询”,则会在区域2中展示任务管理相关的命令。 单击区域1“搜索管理”,则会在区域2中展示搜索管理相关的命令,支持根据应用进行过滤,默认显示“全部”,即搜索所有应用数据。 区域3:展示命令的说明或提示文字。 双击区域2展示的命令时,会在该区域展示该命令的简单说明或展示一些提示文字。 区域4:操作按钮区域。 单击“执行”(快捷键为Ctrl + Enter),可执行用户在区域5输入的命令。或者选中区域5输入的某个命令,单击“执行选择项”进行执行。命令执行完成后,单击“清除”,可清除执行结果的展示。 区域5:命令输入区,用户可以在该区域进行表数据查询,支持多种表操作的SQL语句。 例如:在单击区域1的“对象管理”时,会在区域2展示所有对象表,单击某个表,便可复制该表名。用户在区域5输入命令时,可快速复制粘贴要查询的表名。且对于区域2展示的所有命令,可通过双击鼠标左键,可直接将命令展示在该区域,然后单击区域4“执行”,执行该命令,减少了用户手动输入命令的动作。 区域6:展示相关命令的执行结果。 区域7:展示系统的发行版本和发行时间。 区域8:记录用户在区域5成功执行的所有命令。 单击该区域的命令,可将选中的命令填充到区域5,单击区域4的“执行”按钮,便可执行该历史命令。 图5 控制台 根据 “支持SQL语句列表”提示,输入SQL查询语句,执行查询。 对象管理中除了系统预置的标准对象、用户定制的自定义对象、视图对象和聚合对象,还有一种系统对象,即AstroZero各项系统功能模块所使用到的对象,如服务编排、脚本。此类对象一般无需关注,若需要定位问题可在数据调试控制台使用SQL语句进行查询。 图6 执行SQL语句查询
  • 租户看板 告警统计 统计当前环境下,所有的告警信息。 页面访问统计 统计当前环境下,所有页面的访问信息。 API统计 查看API的调用信息,详情请参见表1。 图1 看板API调用统计 表1 API调用统计页面参数说明 区域 参数 参数说明 API性能统计 统计周期 统计的周期。 访问量 统计周期内的所有访问量。 平均时长 统计周期内所有访问的平均响应时长。 异常访问量 统计周期内所有响应状态码为4XX和5XX的访问量。 异常访问平均时长 统计周期内所有响应状态码为4XX和5XX的平均响应时长。 超时(3s)-访问量 统计周期内所有响应时长超过3秒的访问量。 超时(3s)-平均时长 统计周期内所有响应时长超过3秒的平均响应时长。 Apdex性能指数 Apdex(Application Performance Index)表示用户对应用性能满意度的量化值。其计算公式如下: 设定接口响应时延0~1秒为用户满意区间,1~3秒为容忍区间,大于3秒为不可接受区间,此外所有失败的请求均为不可接受的请求,则Apdex=(满意请求数+0.5*可容忍请求数)/总请求数。 响应状态码分布 以饼图的样式统计响应状态码情况,统计数据包括请求成功数、客户端失败数和服务端失败数。 访问性能分布 以饼图的样式统计访问性能情况,统计数据为0~1秒、1~3秒和大于3秒。 访问趋势 请求总数&平均响应时长 请求总数:该账号下应用和BO中,发布的API接口请求总数。 平均响应时长:各时间段的接口平均响应时长。 请求状态分布 各时间段的请求状态分布,如请求成功数、客户端失败数和服务端失败数。 请求时长分布 各时间段的请求时长分布,统计的请求时长为0~1秒、1~3秒和大于3秒。 Top20应用/Top20接口 应用名称(Top20应用的统计维度) 请求的具体应用。 请求接口(Top20接口的统计维度) 请求的具体接口。 调用次数 统计周期内,调用接口的总次数。 客户端失败数 统计周期内,调用接口的客户端失败数。 服务端失败数 统计周期内,调用接口的服务端失败数。 成功率 统计周期内,API接口请求成功率,取值为API接口请求成功数/API接口请求总数。 API接口请求成功数:该账号的应用和BO中,发布的API接口请求成功次数。 API接口请求总数:该账号的应用和BO中,发布的API接口请求总数。 请求TPM TPM(Transaction Per Minute),表示每秒处理的请求数。 平均时延(ms) 统计API的平均时延。 单位:毫秒(ms) P90时延(ms) 响应时延从小到大排列,顺序处于90%位置的值即为P99值。 单位:毫秒(ms) P99时延(ms) 响应时延从小到大排列,顺序处于99%位置的值即为P99值。 单位:毫秒(ms) 若在P99或P90时间内,调用接口还没返回结果,大概率可认为这次请求属于慢请求。 部署统计 查看租户所有的部署统计信息。 图2 租户看板部署统计