华为云用户手册

  • WAF可以跨企业项目使用吗? 不同的WAF模式,是否支持跨企业项目使用,详情如下: 云模式 云模式-CNAME接入:支持跨企业项目使用。 云模式-ELB接入:通过WAF防护的ELB与购买的ELB实例组必须在同一个VPC内,才支持跨企业项目使用。 独享模式 通过WAF购买的独享引擎实例到源站的VPC网络是互通的,则支持跨企业项目使用。否则,在某个企业项目下购买的WAF独享引擎实例, 在其他企业项目下不能使用。 如果独享引擎实例到源站的VPC网络不互通,且您又想跨企业项目使用WAF实例的话,您可以在“企业项目管理”页面将购买的WAF迁入目标企业项目,使目标企业项目可以使用购买或升级的WAF。 父主题: 产品咨询
  • 在什么情况下使用Cookie区分用户? 在配置CC防护规则时,当IP无法精确区分用户,例如多个用户共享一个出口IP时,用户可以使用Cookie区分用户。 用户使用Cookie区分用户时,如果Cookie中带有用户相关的“session”等“key”值,直接设置该“key”值作为区分用户的依据。 如果CC防护策略中配置的URL请求是被其他服务调用的API接口,可能不支持Cookie方式。 父主题: 防护规则
  • 如何选择 域名 类型 WAF支持防护单域名和泛域名。 在DNS服务商处购买的域名为单域名(example.com),WAF中添加的域名形式可以为example.com、子域名(例如:a.example.com)、泛域名(*.example.com),可根据以下场景选择配置域名的类型: 如果防护的域名业务相同:输入单域名。例如:防护www.example.com的业务都是8080端口的业务,则“防护域名”直接配置为单域名“www.example.com”。 如果各子域名对应的服务器IP地址相同:输入防护的泛域名。例如:a.example.com、b.example.com和c.example.com对应的服务器IP地址相同,则“防护域名”可配置为泛域名“*.example.com”。 如果各子域名对应的服务器IP地址不相同:请将子域名按“单域名”方式逐条添加。 建议添加的“防护域名”与在DNS服务商处设置的域名保持一致。
  • 相关概念 泛域名 泛域名是指带1个通配符“*”且以“*.”号开头的域名。 例如:“*.example.com”是正确的泛域名,但“*.*.example.com”则是不正确的。 一个泛域名算一个域名。 单域名 单域名又称普通域名,是相对泛域名来说的,是一个具体的域名或者说不是通配符域名。 例如:“www.example.com”或“example.com”都算一个单域名。 如“www.example.com”或“a.www.example.com”各个明细子域名都算一个域名。
  • 选择业务QPS时是按照入流量计算还是出流量计算? WAF的业务QPS是指所有该WAF防护的域名、站点中正常业务流量的大小,单位为QPS。 购买WAF时,您需要提前考虑准备通过WAF配置防护的所有站点的日常入方向和出方向总流量的峰值,确保您选购的WAF所对应的业务带宽限制大于入、出方向总流量峰值中较大的值。 流量指的是业务去掉攻击流量后的正常流量。例如,您需要将所有站点对外访问的流量都接入WAF进行防护,在正常访问(未遭受攻击)时,WAF将这些正常访问流量回源到源站E CS 实例;而当站点遭受攻击(CC攻击或DDoS攻击)时,WAF将异常流量拦截、过滤后,将正常流量回源到源站ECS实例。因此,您在云服务器(ECS)管理控制台中查看您源站ECS实例的入方向及出方向的流量就是正常的业务流量。如果存在多个源站ECS实例,则需要统计所有源站ECS实例流量的总和。例如:假设您需要通过WAF配置防护六个站点,每个站点的出方向的正常业务流量峰值都不超过2,000QPS,流量总和不超过12,000QPS。这种情况下,您只需选择购买 Web应用防火墙 铂金版套餐即可。 一般情况下,出方向的流量会比较大。 有关QPS的详细介绍,请参见QPS扩展包说明。 父主题: 购买和变更规格
  • 示例一:防护同一端口的不同源站IP的标准端口业务 在“防护端口”下拉框中,选择“标准端口”。 “对外协议”统一选择“HTTP”或者“HTTPS”。HTTP标准端口防护配置如图1所示,HTTPS标准端口防护配置如图2所示。 图1 80端口业务 图2 443端口业务 “对外协议”选择“HTTPS”时,需要配置证书。 访问网站时,域名后可以不加端口号进行访问。例如,在浏览器中直接输入“http://www.example.com”访问网站。
  • 示例二:防护同一端口的不同源站IP的非标准端口业务 在“防护端口”下拉框中,选择需要防护的非标准端口。 “对外协议”全部选择“HTTP”或者“HTTPS”。HTTP协议的非标准端口的配置如图3,HTTPS协议的非标准端口的配置如图4。 图3 除80端口的其他HTTP协议端口的业务 图4 除443端口的其他HTTPS协议端口的业务 “对外协议”选择“HTTPS”时,需要配置证书。 访问网站时,域名后必须加上配置的非标准端口,否则会报404错误。假如配置的非标准端口为8080,则在浏览器中直接输入的地址为“http://www.example.com:8080”。
  • 为什么误报处理不能使用了? 误报处理不能使用时,请先确认登录管理控制台账号是否授予了使用WAF的权限,有关WAF权限的详细介绍,请参见WAF权限管理。 如果您已开通企业项目,处理误报事件时请在“企业项目”下拉列表中选择您所在的企业项目。 基于自定义规则(CC攻击防护规则、精准访问防护规则、黑白名单规则、地理位置访问控制规则等)拦截或记录的攻击事件,无法执行“误报处理”操作,如果您确认该攻击事件为误报,可在自定义规则页面,将该攻击事件对应的防护规则删除或关闭。 防护网站接入WAF后,当WAF检测到访问请求的以下参数超过512个时,WAF将判定该访问请求为非法请求并拦截该访问请求,且误报处理按钮置灰不能使用: POST/PUT使用“form-data”时,表单的参数个数多于8192个。 URI的参数个数多于2048个。 Header个数超过512个。 图1 非法请求被WAF拦截 有关非法请求的处理建议,请参见WAF误拦截了“非法请求”访问请求,如何处理?。 父主题: 误拦截正常请求排查
  • 购买内容安全检测服务后,什么时候扣费? 购买内容安全检测服务后,系统立即执行检测并扣费,且检测过程中,不支持修改检测域名、暂停任务、退费等操作。 内容安全检测服务支持三种检测类型:内容安全单次检测、文本安全监测(按月)、文本安全监测(按年)。选择“内容安全单次检测”时,内容安全检测服务一次性计费。同一个对象再次进行扫描时,需要重新收费。网站检测配额请参见购买内容安全检测服务时,如何确定网站检测配额?。 详细的计费说明请参见计费项。 父主题: 内容安全检测服务
  • 防护规则条数不够用时,如何处理? Web应用防火墙云模式提供了入门版、标准版、专业版、铂金版四种服务版本。各服务版本针对各种规则的配置条数请参见服务版本差异。如果您所购买的云模式版本支持的规则条数不能满足您业务的需要,您可以升级服务版本,具体的操作请参见变更WAF云模式版本和规格(新版)。 如果您购买了标准版、专业版或铂金版,当前版本的IP黑白名单防护规则数不能满足要求时,您可以通过购买规则扩展包增加IP黑白名单防护规则数,以满足的防护配置需求。 一个规则扩展包包含10条IP黑白名单防护规则。有关购买扩展包的详细操作,请参见如何购买域名扩展包/QPS扩展包/规则扩展包?。 父主题: 购买和变更规格
  • 如何处理418错误码问题? 如果请求本身含有恶意负载被WAF拦截,此时访问WAF防护的域名时会出现418的错误。您可以通过查看WAF的防护日志,查看拦截原因。有关查看防护日志的详细操作,请参见查看防护日志。 如果您判断该请求为业务正常请求调用,可以通过误报处理操作对该路径的对应规则进行放行处理,避免同样问题再次发生。 有关处理误报事件的详细操作,请参见处理误报事件。 如果确认有问题,说明您的网站受到了攻击,并被WAF拦截。 父主题: 流量转发异常排查
  • 云数据库 RDS for SQL Server Microsoft SQL Server是老牌商用级数据库,成熟的企业级架构,轻松应对各种复杂环境。一站式部署、保障关键运维服务,大量降低人力成本。根据华为国际化安全标准,打造安全稳定的数据库运行环境。被广泛应用于政府、金融、医疗、教育和游戏等领域。 云数据库 RDS for SQL Server具有稳定可靠、安全运行、弹性伸缩、轻松管理和经济实用等特点。拥有高可用架构、数据安全保障和故障秒级恢复功能,提供了灵活的备份方案。 当前RDS for SQL Server支持版本请参见数据库引擎和版本。 更多详细信息,请参见官方文档:https://learn.microsoft.com/zh-cn/sql/?view=sql-server-ver16。
  • 云数据库 RDS for PostgreSQL PostgreSQL是一个开源对象云数据库管理系统,并侧重于可扩展性和标准的符合性,被业界誉为“最先进的开源数据库”。云数据库 RDS for PostgreSQL面向企业复杂SQL处理的OLTP在线事务处理场景,支持NoSQL数据类型(JSON/XML/hstore),支持GIS地理信息处理,在可靠性、数据完整性方面有良好声誉,适用于互联网网站、位置应用系统、复杂数据对象处理等应用场景。 支持postgis插件,空间应用卓越。 适用场景丰富,费用低,随时可以根据业务情况弹性伸缩所需的资源,按需开支,量身订做。 当前RDS for PostgreSQL支持版本请参见数据库引擎和版本。 更多详细信息,请参见官方文档:https://www.postgresql.org/docs/。
  • 云数据库 RDS for MariaDB MariaDB是由MySQL创始人Monty创立的,并且是目前流行的开源数据库之一。 云数据库 RDS for MariaDB与MySQL高度兼容,是一个功能强大、性能优越、安全可靠的数据库管理系统,适用于各种规模的应用程序,具有以下优势: 应用无需改造,无缝迁移,开箱即用。 管理控制台提供全面的监控信息,简单易用,灵活管理,可视又可控。 随时根据业务情况弹性伸缩所需资源,按需开支。 当前RDS for MariaDB支持版本请参见数据库引擎和版本。 更多详细信息,请参见官方文档:https://mariadb.org/。
  • 云数据库 RDS for MySQL MySQL是目前最受欢迎的开源数据库之一,其性能卓越,搭配LAMP(Linux + Apache + MySQL + Perl/PHP/Python),成为WEB开发的高效解决方案。 云数据库 RDS for MySQL拥有稳定可靠、安全运行、弹性伸缩、轻松管理、经济实用等特点。 架构成熟稳定,支持流行应用程序,适用于多领域多行业;支持各种WEB应用,成本低,中小企业首选。 管理控制台提供全面的监控信息,简单易用,灵活管理,可视又可控。 随时根据业务情况弹性伸缩所需资源,按需开支,量身订做。 当前RDS for MySQL支持版本请参见数据库引擎和版本。 更多详细信息,请参见官方文档:https://dev.mysql.com/doc/。
  • 创建Oracle连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”,在连接器页面单击“新建连接”。 选择“Oracle”连接器。 在弹窗中配置连接器信息,完成后单击“确定”。 参数 说明 连接名称 填写连接器实例名称。 区域 选择区域。 项目 选择项目。 实例 选择实例,用于后续验证连通性。 连接与安全 选择数据库的连接模式。 默认:由系统根据用户配置自动拼接数据源连接字符串。 专业:由用户自己输入数据源连接字符串。 主机IP地址 仅当“连接与安全”选择“默认”时需要配置。 填写数据库的连接IP地址。 端口 仅当“连接与安全”选择“默认”时需要配置。 填写数据库的连接端口号。 数据库名 仅当“连接与安全”选择“默认”时需要配置。 填写要连接的数据库名。 编码格式 仅当“连接与安全”选择“默认”时需要配置。 填写数据库的编码格式。 超时时间 仅当“连接与安全”选择“默认”时需要配置。 填写连接数据库的超时时间。 连接字符串 仅当“连接与安全”选择“专业”时需要配置。 填写Oracle数据库的JDBC格式连接串,例如:jdbc:oracle:thin:@{hostname}:{port}:{dbname}。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息,用于识别不同的连接器。
  • 配置参数 表1 获取记录 参数 说明 表名 选择或者填写要查询的数据库中的表名。 字段名 选择要查询数据表的字段名。 WHERE条件 配置要查询数据的条件值(注意值要用英文单引号包住)。 Order by字段 填写返回结果的排序字段。 Limit条数 填写返回结果的每页数据条数。 Offset偏移量 填写分页查询的偏移量。 表2 添加记录 参数 说明 表名 选择或者填写数据库中要插入数据的表名。 插入数据 填写插入操作中目标字段的值(注意值要用英文单引号包住)。 表3 更新记录 参数 说明 表名 选择或者填写数据库中要更新数据的表名。 更新数据 填写更新操作中目标字段的值(注意值要用英文单引号包住)。 WHERE条件 配置要更新数据的条件值(注意值要用英文单引号包住)。 表4 增量获取记录 参数 说明 表名 选择或者填写要增量获取记录的数据库中的表名。 字段名 选择要查询数据表的字段名。 WHERE条件 配置要查询数据的条件值(注意值要用英文单引号包住)。 Order by字段 填写返回结果的排序字段。 增量获取时区 增量数据获取开始时区。 增量获取时间戳字段 增量数据获取的时间戳字段。 增量获取时间戳初始值 增量数据获取的时间戳初始值。 重置增量获取时间初始值 选择是否开启重置增量获取时间初始值。 增量获取时间补偿(毫秒) 增量获取补偿增量迁移初始时间戳。 表5 删除记录 参数 说明 表名 选择或者填写数据库中要删除数据的表名。 WHERE条件 配置要删除数据的条件值(注意值要用英文单引号包住)。 表6 同步数据 参数 说明 表名 选择或者填写数据库中要同步数据的表名。 清空表 每次同步数据,是否先清空表。 表7 自定义SQL 参数 说明 执行语句 填写操作数据库的原生SQL语句。 执行语句内容会明文展示所输入信息,请防止信息泄露。 请谨慎使用drop、truncate等非查询类语句。
  • 操作步骤 登录新版ROMA Connect控制台。 在左侧导航栏选择“资源管理”,在资源管理页面单击新版的容器实例,进入实例控制台。 在实例控制台的“实例信息”页面中,选择“基本信息”页签,可查看和编辑实例的基本信息。 表1 ROMA Connect基本信息 内容 内容说明 ROMA Connect实例信息 实例的基本信息,包括实例名称、实例ID、描述、可用区、创建时间。 您可以根据实际需要修改“实例名称”、“描述”等。 您可以单击“实例ID”右侧的“”复制实例ID信息。 虚拟私有云 实例所关联的VPC,您可以单击VPC名称跳转查看VPC的具体配置信息。 子网 实例所关联的子网,你可以单击子网名称跳转查看子网的具体配置信息。 安全组 实例所关联的安全组,你可以单击安全组名称跳转查看安全组的具体配置信息,也可以单击“更改”按钮,绑定新的安全组。 路由 配置私有网段。ROMA Connect实例创建完成后,默认能够与创建时指定的VPC子网网段进行互通,若有额外的私有网段需要与实例互通,可通过该配置项进行路由配置。 付费信息 实例的计费模式。 RCU分布配置 分布给不同集成能力的RCU值。 消息存储空间 实例的MQS消息存储空间信息,包括存储类型和存储空间使用率(百分比)。 MQS基本信息 实例的MQS的基本配置信息。 对应Kafka引擎类型,您可以根据实际需要修改“容量阈值策略”。 连接地址 实例的相关对接地址,包括: ROMA Connect连接地址 设备集成LINK连接地址 服务集成APIC连接地址 服务集成 APIC内网连接地址(自定义后端组件和网关组件) 消息集成 MQS内网连接地址 消息集成 MQS公网连接地址(仅开启开启公网访问时展示) 您可以单击连接地址右侧的“”复制连接地址信息。 公网访问入口 若实例未开启公网入口,您可以单击右侧“”开启公网入口。 若实例已开启公网入口,您可以单击地址右侧的“ ”复制地址信息。 若实例已开启公网入口,您可以单击公网带宽右侧的“ ”修改公网入口带宽大小。 若实例已开启公网入口,您可以单击右侧的“ ”关闭公网入口。 须知: 弹性IP地址为随机分配,开启后关闭再开启不保证IP地址分配的前后一致性。 公网IP访问控制(白名单) 仅当“公网访问入口”开启时可配置。 公网IP访问控制采用白名单模式,在开启的情况下仅白名单内的IP地址可以访问,未开启则默认全放通。 单击右侧更改进入编辑模式,您可以添加或删除允许放通的IP地址。 私网IP访问控制(白名单) 私网IP访问控制采用白名单模式,在开启的情况下仅白名单内的IP地址可以访问,未开启则默认全放通。 单击右侧更改进入编辑模式,您可以添加或删除允许放通的IP地址。
  • 配置参数 表1 获取记录 参数 说明 表名 选择或者填写要查询的数据库中的表名。 字段名 选择要查询数据表的字段名。 WHERE条件 配置要查询数据的条件值(注意值要用英文单引号包住)。 Order by字段 填写返回结果的排序字段。 Limit条数 填写返回结果的每页数据条数。 Offset偏移量 填写分页查询的偏移量。 表2 增量获取记录 参数 说明 表名 选择或者填写要增量获取记录的数据库中的表名。 字段名 选择要查询数据表的字段名。 WHERE条件 配置要查询数据的条件值(注意值要用英文单引号包住)。 Order by字段 填写返回结果的排序字段。 增量获取时区 增量数据获取开始时区。 增量获取时间戳字段 增量数据获取的时间戳字段。 增量获取时间戳初始值 增量数据获取的时间戳初始值。 重置增量获取时间初始值 选择是否开启重置增量获取时间初始值。 增量获取时间补偿(毫秒) 增量获取补偿增量迁移初始时间戳。 表3 添加记录 参数 说明 表名 选择或者填写数据库中要插入数据的表名。 插入数据 填写插入操作中目标字段的值(注意值要用英文单引号包住)。 表4 更新记录 参数 说明 表名 选择或者填写数据库中要更新数据的表名。 更新数据 填写更新操作中目标字段的值(注意值要用英文单引号包住)。 WHERE条件 配置要更新数据的条件值(注意值要用英文单引号包住)。 表5 同步数据 参数 说明 表名 选择或者填写数据库中要同步数据的表名。 清空表 每次同步数据,是否先清空表。 表6 删除记录 参数 说明 表名 选择或者填写数据库中要删除数据的表名。 WHERE条件 配置要删除数据的条件值(注意值要用英文单引号包住)。 表7 自定义SQL 参数 说明 执行语句 填写操作数据库的原生SQL语句。 执行语句内容会明文展示所输入信息,请防止信息泄露。 请谨慎使用drop、truncate等非查询类语句。
  • 创建Sql Server连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”,在连接器页面单击“新建连接”。 选择“Sql Server”连接器。 在弹窗中配置连接器信息,完成后单击“确定”。 参数 说明 连接名称 填写连接器实例名称。 区域 选择区域。 项目 选择项目。 实例 选择实例,用于后续验证连通性。 连接与安全 选择数据库的连接模式。当前支持“默认”模式,由系统根据用户配置自动拼接数据源连接字符串。 默认:由系统根据用户配置自动拼接数据源连接字符串。 专业:由用户自己输入数据源连接字符串。 主机IP地址 仅当“连接与安全”选择“默认”时需要配置。 填写数据库的连接IP地址。 端口 仅当“连接与安全”选择“默认”时需要配置。 填写数据库的连接端口号。 数据库名 仅当“连接与安全”选择“默认”时需要配置。 填写要连接的数据库名。 连接字符串 仅当“连接与安全”选择“专业”时需要配置。 填写Sql Server数据库的JDBC格式连接串,例如:jdbc:sqlserver://{hostname}:{port};DatabaseName={dbname}。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息,用于识别不同的连接器。
  • 配置参数 表1 所有动作参数集合 参数 说明 包含此参数的动作 连接方式 选择连接OBS的连接方式。 选择区域ID 输入Endpoint 所有动作均包含此参数 区域ID 选择区域ID。 所有动作均包含此参数 Endpoint 输入Endpoint。 所有动作均包含此参数 桶名 OBS桶名。 下载对象、删除对象、创建桶、删除桶、获取桶元数据、批量删除指定桶的对象、上传对象 对象名 请输入对象名称,例如123.png。当前仅支持下载txt,csv,png,jpg和jpeg格式的文件。obs中没有文件系统中的文件和文件夹概念,对象名称中的“/”是用来模拟文件系统中的文件夹概念的,“test/123.jpg”的对象名称(Key)仍然是“test/123.jpg”。这种情况此处应填写为“test/123.jpg”。 下载对象、删除对象、上传对象 字符集 字符集支持选择UTF-8和GBK,当下载的文件中包含中文字符时,推荐使用GBK,避免文件中的中文字符出现乱码现象。 下载对象 指定桶的类型 列举指定类型的桶。默认取值为OBJECT,即对象桶。 OBJECT POXIS 获取桶列表 是否同时查询桶的区域位置 是否同时查询桶的区域位置。 是:同时查询桶的区域位置; 否:不查询桶的区域位置。默认取值为否。 获取桶列表 桶的所属区域 该参数定义了桶将会被创建在哪个区域,如果使用的终端节点是obs.myhuaweicloud.com,可以不携带此参数;如果使用的终端节点不是obs.myhuaweicloud.com,则必须携带此参数。终端节点为obs.myhuaweicloud.com且用户未设定区域时,默认为华北-北京一(cn-north-1)。 创建桶 跨域请求origin 预请求指定的跨域请求origin(通常为域名)。允许多条匹配规则,以回车换行为间隔。每个匹配规则允许使用最多一个“*”通配符。 获取桶元数据 HTTP请求头 跨域请求可以使用的HTTP头域。只有匹配上允许的头域中的配置,才被视为是合法的CORS请求。 获取桶元数据 对象名前缀 限定返回的对象名必须带有prefix前缀。 获取桶内对象列表 起始位置 列举对象的起始位置,返回的对象列表将是对象名按照字典序排序后该参数以后的所有对象。 获取桶内对象列表 最大数目 列举对象的最大数目,取值范围为1~1000,当超出范围时,按照默认的1000进行处理。 获取桶内对象列表 对象名分组字符 用于对对象名进行分组的字符。对于对象名中包含分组字符的对象,其对象名(如果请求中指定了prefix,则此处的对象名需要去掉prefix)中从首字符至第一个分组字符之间的字符串将作为一个分组并作为commonPrefix返回。 获取桶内对象列表 编码类型 对响应中的部分元素进行指定类型的编码。如果 delimiter、marker、prefix、nextMarker 和 key 包含xml 1.0标准不支持的控制字符,可通过设置 encodingType 对响应中的 delimiter、marker、prefix(包括commonPrefixes 中的 prefix)、nextMarker 和 key 进行编码。 获取桶内对象列表 响应模式 批量删除对象的响应方式,默认值是“否” 否:表示详细模式,返回的删除成功和删除失败的所有结果; 是:表示简单模式,只返回的删除过程中出错的结果。 批量删除指定桶的对象 基础类型 待上传对象的基础类型。如果待上传对象的格式为txt或者csv,此处应选择文本类型;如果待上传对象的格式为png、jpg和jpeg三种格式,此处应选择图片类型,默认为文本类型。 上传对象 文本对象的内容 请输入文本对象的内容,系统会根据内容和对象名称生成对象, 如果需要上传文本类型对象,该项必须配置。 上传对象 图片对象的base64编码 请输入图片对象的base64编码,系统会根据内容和对象名称生成对象, 如果需要上传二进制类型对象,该项必须配置。 上传对象
  • 创建 对象存储服务 连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”,在连接器页面单击“新建连接”。 选择“对象存储服务”连接器。 在弹窗中配置连接器信息,完成后单击“确定”。 参数 说明 连接名称 填写连接器实例名称。 访问秘钥ID 当前账号的AK(Access Key ID)。请参考访问密钥获取AK,如果已生成过AK/SK,找到原来已下载的AK/SK文件,文件名一般为:credentials.csv。 秘密访问秘钥 当前账号的SK(Secret Access Key)。请参考访问密钥获取SK,如果已生成过AK/SK,找到原来已下载的AK/SK文件,文件名一般为credentials.csv。 描述 填写连接器的描述信息,用于识别不同的连接器。
  • 查看运行记录 登录新版ROMA Connect控制台。 在左侧导航栏选择“组合应用”,在组合应用页面单击要查看运行记录的组合应用。 在组合应用详情页面,选择“运行记录”页签,可查看该组合应用下流任务运行过程的相关记录信息。 表1 运行记录字段说明 字段 说明 开始时间 流任务的开始时间。 结束时间 流任务的结束时间。 运行ID 流任务的运行ID。 运行时间 流任务的运行时间。 状态 流任务的运行状态。 (可选)配置访问日志,实现异常监控日志的存储。 如果组合应用未启动,请单击“启动并配置运行记录”,选择一个实例启动此组合应用。 如果组合应用已启动,单击“点击开启”弹出“运行记录配置”窗口,然后配置日志接入信息。 表2 配置访问日志 参数 说明 日志组 选择日志流所在的日志组。 如果没有可选的日志组,单击“查看日志组”,跳转到 云日志 服务管理控制台,并创建一个日志组,具体操作请参考创建日志组。 日志流 选择运行监控日志要存储的日志流。 如果没有可选的日志流,单击“查看日志流”,跳转到云日志服务管理控制台,并创建一个日志流,具体操作请参考创建日志流。 完成后单击“确认”。
  • 创建MySQL连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”,在连接器页面单击“新建连接”。 选择“MySql”连接器。 在弹窗中配置连接器信息,完成后单击“确定”。 参数 说明 连接名称 填写连接器实例名称。 区域 选择区域。 项目 选择项目。 实例 选择实例,用于后续验证连通性。 连接与安全 选择数据库的连接模式。当前支持“默认”模式,由系统根据用户配置自动拼接数据源连接字符串。 主机IP地址 填写数据库的连接IP地址。 端口 填写数据库的连接端口号。 数据库名 填写要连接的数据库名。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息,用于识别不同的连接器。
  • 配置参数 表1 获取记录 参数 说明 表名 填写要查询数据的数据表名。 字段名 填写要查询数据的字段名,多个字段以英文逗号(,)分隔。 WHERE条件 填写要查询数据的条件。 Order by字段 填写返回结果的排序字段。 Limit条数 填写返回结果的每页数据条数。 Offset偏移量 填写分页查询的偏移量。 表2 获取增量记录 参数 说明 表名 填写要查询数据的数据表名。 字段名 填写要查询数据的字段名,多个字段以英文逗号(,)分隔。 WHERE条件 填写要查询数据的条件。 Order by字段 填写返回结果的排序字段。 增量获取时区 增量数据获取开始时区。 增量获取时间戳字段 增量数据获取的时间戳字段。 增量获取时间戳初始值 增量数据获取的时间戳初始值。 重置增量获取时间初始值 选择是否开启重置增量获取时间初始值。 增量获取时间补偿(毫秒) 增量获取补偿增量迁移初始时间戳。 表3 添加记录 参数 说明 表名 填写要插入数据的数据表名。 插入数据 填写插入操作中目标字段的值。 表4 更新记录 参数 说明 表名 填写要更新数据的数据表名。 更新数据 填写更新操作中目标字段的值。 WHERE条件 填写要更新数据的条件。 表5 同步记录 参数 说明 表名 填写要同步数据的数据表名。 清空表 每次同步数据,是否先清空表。 表6 删除记录 参数 说明 表名 填写要删除数据的数据表名。 WHERE条件 填写要删除数据的条件。 表7 自定义SQL 参数 说明 执行语句 填写操作数据库的原生SQL语句。 执行语句内容会明文展示所输入信息,请防止信息泄露。 请谨慎使用drop、truncate等非查询类语句。
  • 配置参数 PostgreSQL连接器不支持中文表名,仅支持英文表名。 表1 获取记录 参数 说明 表名 选择或者填写要查询的数据库中的表名。 字段名 选择要查询数据表的字段名。 WHERE条件 配置要查询数据的条件值(注意值要用英文单引号包住)。 Order by字段 填写返回结果的排序字段。 Limit条数 填写返回结果的每页数据条数。 Offset偏移量 填写分页查询的偏移量。 表2 添加记录 参数 说明 表名 选择或者填写数据库中要插入数据的表名。 插入数据 填写插入操作中目标字段的值(注意值要用英文单引号包住)。 表3 更新记录 参数 说明 表名 选择或者填写数据库中要更新数据的表名。 更新数据 填写更新操作中目标字段的值(注意值要用英文单引号包住)。 WHERE条件 配置要更新数据的条件值(注意值要用英文单引号包住)。 表4 同步数据 参数 说明 表名 选择或者填写数据库中要同步数据的表名。 清空表 每次同步数据,是否先清空表。 表5 增量获取记录 参数 说明 表名 选择或者填写要增量获取记录的数据库中的表名。 字段名 选择要查询数据表的字段名。 WHERE条件 配置要查询数据的条件值(注意值要用英文单引号包住)。 Order by字段 填写返回结果的排序字段。 增量获取时区 增量数据获取开始时区。 增量获取时间戳字段 增量数据获取的时间戳字段。 增量获取时间戳初始值 增量数据获取的时间戳初始值。 重置增量获取时间初始值 选择是否开启重置增量获取时间初始值。 增量获取时间补偿(毫秒) 增量获取补偿增量迁移初始时间戳。 表6 删除记录 参数 说明 表名 选择或者填写数据库中要删除数据的表名。 WHERE条件 配置要删除数据的条件值(注意值要用英文单引号包住)。 表7 自定义SQL 参数 说明 执行语句 填写操作数据库的原生SQL语句。 执行语句内容会明文展示所输入信息,请防止信息泄露。 请谨慎使用drop、truncate等非查询类语句。
  • 创建PostgreSQL连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”,在连接器页面单击“新建连接”。 选择“PostgreSQL”连接器。 在弹窗中配置连接器信息,完成后单击“确定”。 参数 说明 连接名称 填写连接器实例名称。 区域 选择区域。 项目 选择项目。 实例 选择实例,用于后续验证连通性。 连接与安全 选择数据库的连接模式。 默认:由系统根据用户配置自动拼接数据源连接字符串。 专业:由用户自己输入数据源连接字符串。 主机IP地址 仅当“连接与安全”选择“默认”时需要配置。 填写数据库的连接IP地址。 端口 仅当“连接与安全”选择“默认”时需要配置。 填写数据库的连接端口号。 数据库名 仅当“连接与安全”选择“默认”时需要配置。 填写要连接的数据库名。 连接字符串 仅当“连接与安全”选择“专业”时需要配置。 填写PostgreSQL数据库的JDBC格式连接串,例如:jdbc:postgresql://{hostname}:{port}/{dbname}。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息,用于识别不同的连接器。
  • 创建CodeArts IDE Online连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”,在连接器页面单击“新建连接”。 选择“CodeArts IDE Online”连接器。 在弹窗中配置连接器信息,完成后单击“确定”。 参数 说明 连接名称 填写连接器实例名称。 描述 填写连接器的描述信息,用于识别不同的连接器。 Access Key 当前账号的AK(Access Key ID)。请参考访问密钥获取AK,如果已生成过AK/SK,找到原来已下载的AK/SK文件,文件名一般为:credentials.csv。 Secret Access Key 当前账号的SK(Secret Access Key)。请参考访问密钥获取SK,如果已生成过AK/SK,找到原来已下载的AK/SK文件,文件名一般为credentials.csv。
  • 配置参数 表1 查询IDE实例列表 参数 说明 region_id 区域ID。 limit 每页显示的条目数量,最大值为100,最小值为1。 offset 偏移量,表示从此偏移量开始查询。 is_temporary 是否页面显示(以标签配置为准)。 label 标签。 search 关键字查询(根据实例名,描述模糊查询)。 sort_dir 排序方式 asc/desc。 sort_key 排序字段。 display_name 实例名、status状态、pvc_quantity 存储容量、created_time 创建时间、stack_id 技术栈。 表2 创建IDE实例 参数 说明 org_id 租户ID(对应华为云账号的domainId)。 region_id 区域ID。 agent_id 代理商ID,教程活动场景下使用。 arch cpu架构,x86或arm。 cpu_memory cpu规格。arm架构支持4U8G,x86架构支持1U1G、2U4G、2U8G,与技术栈配置的规格对应,可通过技术栈管理ListStacks接口获取。如果标签不为空,以标签配置的技术栈规格为准。 quantum技术栈,x86架构cpu规格为2U8G;其他技术栈,x86架构cpu规格为1U1G、2U4G。 description 描述。 display_name 实例名。 可以输入中文、数字、字母、下划线、点、破折号。长度介于3-100之间。 is_temporary 实例标签(不同的第三方需要和CodeArtsIDEOnline服务共同设定标签),不传默认为default。 label_tag 排序方式asc/desc。 plugin_enable_list 预装插件列表。 plugin_vars 预装插件参数,请注意敏感信息保护,若涉及敏感信息,请自行加密。 port_id 云服务器对应的portId,小网连接ecs的场景下使用。 private_ip 云服务器ip,小网连接ecs的场景下使用。 pvc_quantity PVC规格,如5GB|10GB|20GB。 refresh_interval 自动休眠时长。arm架构,自动休眠时长只能设置成30或60。x86架构可取值为30、60、240、1440和-1。除-1外,其它值的单位为“分钟”。实例无操作超过自动休眠时长后,将会被暂停(已保存的数据不会被删除)。-1表示实例不会自动停止。 repository_id 解放号的仓库ID,解放号场景下使用。 stack_id 技术栈ID,通过技术栈管理ListStacks接口获取。 task_type 任务类型,教程活动场景下使用。 token 解放号的token,解放号场景下使用。 vpc_id 云服务器对应的vpcId,小网连接ecs的场景下使用。 instance_domain_id 实例授权用户租户ID。 instance_user_id 实例授权用户ID。 表3 查询某个租户下的IDE实例列表 参数 说明 org_id 租户ID(对应华为云账号的domainId)。 region_id 区域ID。 is_temporary 实例标签(不同的第三方需要和CodeArtsIDEOnline服务共同设定标签),不传默认为default。 limit 每页显示的条目数量,10/15/30。 offset 偏移量,表示从此偏移量开始查询。 search 关键字查询(根据实例名,描述模糊查询)。 表4 停止IDE实例 参数 说明 instance_id 实例ID。 region_id 区域ID。 表5 启动IDE实例 参数 说明 instance_id 实例ID。 region_id 区域ID。 plugin_enable_list 插件列表。 plugin_vars 插件参数,请注意敏感信息保护,若涉及敏感信息,请自行加密。 表6 删除IDE实例 参数 说明 instance_id 实例ID。 region_id 区域ID。 表7 修改IDE实例 参数 说明 instance_id 实例ID。 region_id 区域ID。 description 描述。 display_name 实例名。 可以输入中文、数字、字母、下划线、点、破折号。长度介于3-100之间。 refresh_interval 自动休眠时长。arm架构,自动休眠时长只能设置成30或60。x86架构可取值为30、60、240、1440和-1。除-1外,其它值的单位为“分钟”。实例无操作超过自动休眠时长后,将会被暂停(已保存的数据不会被删除)。-1表示实例不会自动停止。 表8 查询某个IDE实例 参数 说明 instance_id 实例ID。 region_id 区域ID。 表9 查询IDE实例名是否重复 参数 说明 region_id 区域ID。 display_name 实例名。 可以输入中文、数字、字母、下划线、点、破折号。长度介于3-100之间。
  • 脚本模式 可通过编辑JavaScript脚本来配置源端数据(sourceObj指源表的字段集合对象)和目标端数据(targetObj指目标表的字段集合对象)的Mapping映射关系信息,增强复杂对象的Mapping处理能力。 脚本映射样例: 样例模板。 function excute(sourceObj){ //请在此处编写脚本内容, 注意大小写敏感。 //定义目标端数据对象 targetObj = {}; //支持普通的加减乘除运算 targetObj.a= (sourceObj.id * 3 + 1) % 5; //支持js的Math函数 targetObj.b= Math.sqrt(100); //支持类型转换 targetObj.c = Number("3.14"); //支持调用系统的时间函数 targetObj.date = new Date().toLocaleString(); //支持正则表达式 targetObj.fdi = sourceObj.name.replace(/world/i,"fdi"); //支持json转换 var json = JSON.parse(sourceObj.infoJson); targetObj.address = json.address; targetObj.age = json.age; targetObj.sex = json.other.sex; targetObj.hobby = json.other.hobby; //支持条件语句 if(targetObj.hobby == "rap"){ targetObj.ikun = true; }else{ targetObj.ikun = false; } return targetObj; } 仅字段映射。 function excute(sourceObject) {//sourceObject即源端传送的数据对象 //请在此处编写脚本内容; var targetObject = {}; targetObject.mqs_id = sourceObject.id;//映射源端数据表中的id字段至目标端字段mqs_id targetObject.mqs_name = sourceObject.name; targetObject.mqs_date = sourceObject.date; targetObject.mqs_date = sourceObject['customized-outdutydate'];//属性带中划线的字段,需要使用中括号进行引用 return targetObject; //targetObject即返回给目标端的数据对象 } 目标端数据源类型为API。 API数据类型的目标端需要分别使用三个对象进行传递,对象包含params、headers和body。 function excute(sourceObj) { print("execute js"); print(sourceObj); var targetObj = {}; targetObj.params = {}; targetObj.params.id = sourceObj.uid targetObj.headers = {}; targetObj.headers['X-HW-ID'] = "应用ID"; targetObj.headers['X-HW-APPKEY'] = "应用密钥"; targetObj.body = {}; return obj; } 如果转换的数据存在时间类型。则JS脚本中需参考以下加黑字段修改: 编排模式下,目标端数据源类型为API,且使用JS脚本进行数据转换时,会自动先将源端类型为Date的数据类型转换为yyyy-MM-dd HH:mm:ss的字符串类型。例如,源端时间数据为19:55:20,通过JS脚本转换后会变为1970-01-01 19:55:20,而不是预期的19:55:20。其中1970-01-01为系统统一添加的默认值。 如果要目标端要获得指定格式的数据,需要参考下述示例在JS脚本中对时间数据进行转换。 function excute(sourceObj) { /** * 自定义时间格式函数 * @param {format} 时间显示格式 */ Date.prototype.format = function (format) { var date = { "M+": this.getMonth() + 1, "d+": this.getDate(), "h+": this.getHours(), "m+": this.getMinutes(), "s+": this.getSeconds(), "q+": Math.floor((this.getMonth() + 3) / 3), "S": this.getMilliseconds() }; if (/(y+)/i.test(format)) { format = format.replace(RegExp.$1, (this.getFullYear() + '').substr(4 - RegExp.$1.length)); } for (var k in date) { if (new RegExp("(" + k + ")").test(format)) { format = format.replace(RegExp.$1, RegExp.$1.length == 1 ? date[k] : ("00" + date[k]).substr(("" + date[k]).length)); } } return format; }; print("execute js"); print(sourceObj); var targetObj = {}; targetObj.params = {}; targetObj.params.id = sourceObj.uid //对时间格式的数据进行转换时,调用上述自定义的函数进行处理, 抽取时、分、秒部分的数据给目标字段。 //其中下述代码中的HH:mm:ss为时分秒时间的显示格式。如果写为hhmmss,则返回给目标字段的格式不带冒号。 targetObj.params.time = (new Date(sourceObj.time)).format("hh:mm:ss"); targetObj.headers = {}; targetObj.headers['X-HW-ID'] = "应用ID"; targetObj.headers['X-HW-APPKEY'] = "应用密钥"; targetObj.body = {}; return obj; } 数据库字段涉及多层json解析。 如果源端数据对象包含的字段涉及多层json对象嵌套,则需要对每一个解析出来的字段使用“[]”引用。 例如如下脚本表示root字段包含id、name、double等多层对象嵌套,则每一个解析的字段需要单独引用。 function excute(sourceObject) { //请在此处编写脚本内容; var targetObject = {}; targetObject.mqs_id = sourceObject["root.id"]; targetObject.mqs_name = sourceObject["root.name"]; targetObject.mqs_double = sourceObject["root.double"]; targetObject.mqs_date = sourceObject["root.date"]; targetObject.mqs_boolean = sourceObject["root.boolean"]; targetObject.mqs_timestamp = sourceObject["root.timestamp"]; targetObject.mqs_time = sourceObject["root.time"]; targetObject.mqs_long = sourceObject["root.long"]; return targetObject; }
共100000条