云服务器内容精选
-
支持接入的日志 安全云脑 支持集成WAF、HSS、OBS等多种华为云云产品的日志数据。集成后，可以检索并分析所有收集到的日志，且默认存储7天。 表1 支持接入的日志 安全分类 服务 服务类型 日志 日志描述 支持的region 主机安全 主机安全服务（HSS） 租户侧云服务 hss-alarm 主机安全告警 华北-北京四、华南-广州、华东-上海一、华北-北京一、华北-北京二、华东-乌兰察布一（汇聚在华北-北京一）、华东-上海二、华东-青岛、华南-深圳（汇聚在华南-广州-友好用户环境）、西南-贵阳一、华东二 hss-vul 主机 漏洞扫描 结果 hss-log 主机安全日志 hss-baseline 主机安全基线 华北-北京四、华南-广州、华东-上海一、华北-北京一、华北-北京二、华东-上海二、华东-青岛、西南-贵阳一、华东二 应用安全 Web应用防火墙 （WAF） 租户侧云服务 waf-attack WAF攻击日志 华北-北京四、华南-广州、华东-上海一、华北-北京一、华北-北京二、华东-乌兰察布一、华东-上海二（汇聚在华东-上海一）、华东-青岛、华南-深圳（汇聚在华南-广州）、西南-贵阳一、华东二 waf-access WAF访问日志 API网关（APIG） 租户侧云服务 apig-access APIG请求日志 华北-北京四、华南-广州、华东-上海一、华北-北京一 云审计 服务（ CTS ） 租户侧云服务 cts-audit 云审计服务日志 华北-北京四、华南-广州、华东-上海一、华北-北京一、华北-北京二、华东-乌兰察布一、华东-上海二、华东-青岛、华南-深圳、西南-贵阳一、华东二 网络安全 NIP 华为设备 nip-attack IPS攻击日志 华北-北京四、华南-广州、华东-上海一、华北-北京二、华东-乌兰察布一、华东-上海二、华南-深圳、西南-贵阳一 亚太-新加坡、非洲-约翰内斯堡 DDoS 华为设备 ddos-attack DDoS攻击日志 华北-北京四、华南-广州、华东-上海一 云防火墙 （CFW） 租户侧云服务 cfw-block 访问控制日志 华北-北京四、华南-广州、华东-上海一、华北-北京二、华东-乌兰察布一、华东-上海二、华东-青岛、华南-深圳、西南-贵阳一、华东二 cfw-flow 流量日志 cfw-risk 攻击事件日志 运维安全 云堡垒机 （CBH） 租户侧云服务 cbh-audit 堡垒机 审计日志 华北-北京四、华南-广州、华东-上海一 数据安全 对象存储服务 （OBS） 租户侧云服务 obs-access 对象存储服务访问日志 华北-北京四、华南-广州、华东-乌兰察布一、华东-上海二 数据库安全服务（DBSS） 租户侧云服务 dbss-alarm DBSS告警日志 华北-北京四、华南-广州、华东-上海一、华北-北京二、华东-乌兰察布一、华南-深圳、西南-贵阳一、华东二 数据安全中心 （DSC） 租户侧云服务 dsc-alarm DSC告警日志 华北-北京四、华南-广州、华东-上海一、华北-北京一、华东-乌兰察布一、华东-上海二、华东-青岛、西南-贵阳一、华东二 身份安全 统一身份认证 服务（ IAM ） 租户侧云服务 iam-audit 统一身份认证服务审计日志 华北-北京四、华南-广州、华东-上海一、华北-北京一、华东-乌兰察布一、华东-上海二 云安全 威胁检测服务 （MTD） 租户侧云服务 mtd-alarm MTD告警日志 华北-北京四、华南-广州、华东-上海一、华北-北京二、华东-乌兰察布一 安全云脑（SecMaster） 租户侧云服务 secmaster-baseline 安全云脑基线 华北-北京四、华南-广州、华东-上海一、华北-北京一、华北-北京二、华东-乌兰察布一、华东-上海二、华南-深圳、西南-贵阳一、华东二 父主题： 数据集成
-
路径和表名的时间宏变量 如图1所示，如果将： 源端的“表名”配置为“ CDM _/${dateformat(yyyy-MM-dd)}”。 目的端的“写入目录”配置为“/opt/ttxx/${timestamp()}”。 经过宏定义转换，这个作业表示：将Oracle数据库的“SQOOP.CDM_20171016”表中数据，迁移到HDFS的“/opt/ttxx/1508115701746”目录中。 图1 源表名和写入目录配置为时间宏变量 目前也支持一个表名或路径名中有多个宏定义变量，例如“/opt/ttxx/${dateformat(yyyy-MM-dd)}/${timestamp()}”，经过转换后为“/opt/ttxx/2017-10-16/1508115701746”。
-
timestamp timestamp支持两种形式的参数： timestamp() 返回当前时间的时间戳，即从1970年到现在的毫秒数，如1508078516286。 timestamp(dateOffset, dateType) 返回经过时间偏移后的时间戳，“dateOffset”和“dateType”表示日期的偏移量以及偏移量的类型。 例如当前日期为“2017-10-16 09:00:00”，则“timestamp(-10, MINUTE)”返回当前时间点10分钟前的时间戳，即“1508115000000”。
-
时间变量宏定义具体展示 假设当前时间为“2017-10-16 09:00:00”，时间变量宏定义具体如表1所示。 表中示例实际使用是必须嵌在''中使用，比如需要以yyyy-MM-dd格式返回当前时间时，参数为'${dateformat(yyyy-MM-dd)}'。 表1 时间变量宏定义具体展示 宏变量 含义 实际显示效果 ${dateformat(yyyy-MM-dd)} 以yyyy-MM-dd格式返回当前时间。 2017-10-16 ${dateformat(yyyy/MM/dd)} 以yyyy/MM/dd格式返回当前时间。 2017/10/16 ${dateformat(yyyy_MM_dd HH:mm:ss)} 以yyyy_MM_dd HH:mm:ss格式返回当前时间。 2017_10_16 09:00:00 ${dateformat(yyyy-MM-dd HH:mm:ss, -1, DAY)} 以yyyy-MM-dd HH:mm:ss格式返回时间，时间为当前时间的前一天。 2017-10-15 09:00:00 ${dateformat(yyyy-MM-dd, -1, DAY)} 00:00:00 以yyyy-MM-dd HH:mm:ss格式返回时间，时间为当前时间的前一天0点。 2017-10-15 00:00:00 ${dateformat(yyyy-MM-dd, -1, DAY)} 12:00:00 以yyyy-MM-dd HH:mm:ss格式返回时间，时间为当前时间的前一天12点。 2017-10-15 12:00:00 ${dateformat(yyyy-MM-dd, -N, DAY)} 00:00:00 以yyyy-MM-dd HH:mm:ss格式返回时间，时间为当前时间的前N天的0点。 N为3时： 2017-10-13 00:00:00 ${dateformat(yyyy-MM-dd, -N, DAY)} 12:00:00 以yyyy-MM-dd HH:mm:ss格式返回时间，时间为当前时间的前N天的12点。 N为3时： 2017-10-13 12:00:00 ${timestamp()} 返回当前时间的时间戳，即1970年1月1日（00:00:00 GMT）到当前时间的毫秒数。 1508115600000 ${timestamp(-10, MINUTE)} 返回当前时间点10分钟前的时间戳。 1508115000000 ${timestamp(dateformat(yyyyMMdd))} 返回今天0点的时间戳。 1508083200000 ${timestamp(dateformat(yyyyMMdd,-1,DAY))} 返回昨天0点的时间戳。 1507996800000 ${timestamp(dateformat(yyyyMMddHH))} 返回当前整小时的时间戳。 1508115600000
-
Where子句中的时间宏变量 以SQOOP.CDM_20171016表为例，该表中存在表示时间的列DS，如图2所示。 图2 表数据 假设当前时间为“2017-10-16”，要导出前一天的数据（即DS=‘2017-10-15’），则可以在创建作业时配置“Where子句”为DS='${dateformat(yyyy-MM-dd,-1,DAY)}'，即可将符合DS=‘2017-10-15’条件的数据导出。
-
时间宏变量和定时任务配合完成增量同步 这里列举两个简单的使用场景： 数据库表中存在表示时间的列DS，类型为“varchar(30)”，插入的时间格式类似于“2017-xx-xx”。 定时任务中，重复周期为1天，每天的凌晨0点执行定时任务。配置“Where子句”为DS='${dateformat(yyyy-MM-dd,-1,DAY)}'，这样就可以在每天的凌晨0点导出前一天产生的所有数据。 数据库表中存在表示时间的列time，类型为“Number”，插入的时间格式为时间戳。 定时任务中，重复周期为1天，每天的凌晨0点执行定时任务。配置“Where子句”为time between ${timestamp(-1,DAY)} and ${timestamp()}，这样就可以在每天的凌晨0点导出前一天产生的所有数据。 其它的配置方式原理相同。
-
dateformat dateformat支持两种形式的参数： dateformat(format) format表示返回日期的格式，格式定义参考"java.text.SimpleDateFormat.java"中的定义。 例如当前日期为“2017-10-16 09:00:00”，则"yyyy-MM-dd HH:mm:ss"表示“2017-10-16 09:00:00”。 dateformat(format, dateOffset, dateType) format表示返回日期的格式。 dateOffset表示日期的偏移量。 dateType表示日期的偏移量的类型。 目前dateType支持以下几种类型：SECOND（秒），MINUTE（分钟），HOUR（小时），DAY（天），MONTH（月），YEAR（年）。 其中MONTH（月），YEAR（年）的偏移量类型存在特殊场景： 对于年、月来说，若进行偏移后实际没有该日期，则按照日历取该月最大的日期。 不支持在源端和目的端的“时间过滤”参数中的起始时间、终止时间使用年、月的偏移。 例如当前日期为"2023-03-01 09:00:00"，则： "dateformat(yyyy-MM-dd HH:mm:ss, -1, YEAR)"表示当前时间的前一年，也就是"2022-03-01 09:00:00"。 "dateformat(yyyy-MM-dd HH:mm:ss, -3, MONTH)"表示当前时间的前三月，也就是"2022-12-01 09:00:00"。 "dateformat(yyyy-MM-dd HH:mm:ss, -1, DAY)"表示当前时间的前一天，也就是"2023-02-28 09:00:00"。 "dateformat(yyyy-MM-dd HH:mm:ss, -1, HOUR)"表示当前时间的前一小时，也就是"2023-03-01 08:00:00"。 "dateformat(yyyy-MM-dd HH:mm:ss, -1, MINUTE)"表示当前时间的前一分钟，也就是"2023-03-01 08:59:00"。 "dateformat(yyyy-MM-dd HH:mm:ss, -1, SECOND)"表示当前时间的前一秒，也就是"2023-03-01 08:59:59"。
-
开发并调度作业 假设OBS中“movie”和“rating”表是每日更新的，我们希望每天更新Top10电影，那么这里可以使用DLF作业编排和作业调度功能。 在 DataArts Studio 控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。 创建一个DLF批处理作业，作业名称为“topmovie”。 图7 新建作业 图8 配置作业 在作业开发页面，拖动2个CDM Job节点、3个Dummy节点和2个DWS SQL节点到画布中，选中连线图标并拖动，编排图9所示的作业。 图9 连接和配置节点属性 关键节点说明： Begin（Dummy节点）：不执行任何操作，只作为起始点的标识。 movies_obs2dws（CDM Job节点）：在节点属性中，选择步骤2：数据集成入湖中的CDM集群，并关联CDM作业“movies_obs2dws”。 ratings_obs2dws（CDM Job节点）：在节点属性中，选择步骤2：数据集成入湖中的CDM集群，并关联CDM作业“ratings_obs2dws”。 Waiting（Dummy节点）：不执行任何操作，作为等待前侧节点执行结束的标识。 top_rating_movie（DWS SQL节点）：在节点属性中，关联创建DWS SQL脚本top_rating_movie中开发完成的DWS SQL脚本“top_rating_movie”。 top_active_movie（DWS SQL节点）：在节点属性中，关联创建DWS SQL脚本top_active_movie中开发完成的DWS SQL脚本“top_active_movie”。 Finish（Dummy节点）：不执行任何操作，只作为结束点的标识。 作业编排完成后，单击，测试运行作业。 如果作业运行正常，单击“调度配置”，配置作业的调度策略。 图10 调度配置 说明： 2022/02/09至2022/02/28，每天1点00分执行一次作业。 依赖属性：可以配置为依赖其他作业运行，本例不涉及，无需配置。 跨周期依赖：可以选择配置为依赖上一周期或者不依赖，此处配置为不依赖即可。 最后保存并提交版本（单击），执行调度作业（单击）。实现作业每天自动运行，Top10电影的结果自动保存到“top_active_movie”和“top_rating_movie”表。 您如果需要及时了解作业的执行结果是成功还是失败，可以通过数据开发的运维调度界面进行查看，如图11所示。 图11 查看作业执行情况
-
消息生产与消费的幂等传递 ROMA Connect设计了一系列可靠性保障措施，确保消息不丢失。例如使用消息同步存储机制防止系统与服务器层面的异常重启或者掉电，使用消息确认（ACK）机制解决消息传输过程中遇到的异常。 考虑到网络异常等极端情况，用户除了做好消息生产与消费的确认，还需要配合ROMA Connect完成消息发送与消费的重复传输设计。 当无法确认消息是否已发送成功，生产者需要将消息重复发送给ROMA Connect。 当重复收到已处理过的消息，消费者需要告诉ROMA Connect消费成功且保证不重复处理。
-
消息可以批量生产和消费 为提高消息发送和消息消费效率，推荐使用批量消息发送和消费。通常，默认消息消费为批量消费，而消息发送尽可能采用批量发送，可以有效减少API调用次数。 如下面两张示意图对比所示，消息批量生产与消费，可以减少API调用次数，节约资源。 图1 消息批量生产与消费 批量发送消息时，单次不能超过10条消息，总大小不能超过512KB。 批量生产（发送）消息可以灵活使用，在消息并发多的时候，批量发送，并发少时，单条发送。这样能够在减少调用次数的同时保证消息发送的实时性。 图2 消息逐条生产与消费 此外，批量消费消息时，消费者应按照接收的顺序对消息进行处理、确认，当对某一条消息处理失败时，不再需要继续处理本批消息中的后续消息，直接对已正确处理的消息进行确认即可。
-
重视消息生产与消费的确认过程 消息生产 生产消息后，生产者需要根据ROMA Connect的返回信息确认消息是否发送成功，如果返回失败需要重新发送。 每次生产消息，生产者都需要等待消息发送API的应答信号，以确认消息是否成功发送。在消息传递过程中，如果发生异常，生产者没有接收到发送成功的信号，生产者自己决策是否需要重复发送消息。如果接收到发送成功的信号，则表明该消息已经被ROMA Connect可靠存储。 消息消费 消息消费时，消费者需要确认消息是否已被成功消费。 生产的消息被依次存储在ROMA Connect的存储介质中。消费时依次获取ROMA Connect中存储的消息。消费者获取消息后，进行消费并记录消费成功或失败的状态，并将消费状态提交到ROMA Connect，由ROMA Connect决定消费下一批消息或回滚重新消费消息。 在消费过程中，如果出现异常，没有提交消费确认，该批消息会在后续的消费请求中再次被获取。
-
操作步骤 登录新版ROMA Connect控制台。 在左侧导航栏选择“资源管理”，在资源管理页面单击新版的容器实例，进入实例控制台。 在实例控制台的“实例信息”页面中，选择“基本信息”页签，可查看和编辑实例的基本信息。 表1 ROMA Connect基本信息 内容 内容说明 ROMA Connect实例信息 实例的基本信息，包括实例名称、实例ID、描述、可用区、创建时间。 您可以根据实际需要修改“实例名称”、“描述”等。 您可以单击“实例ID”右侧的“”复制实例ID信息。 虚拟私有云 实例所关联的VPC，您可以单击VPC名称跳转查看VPC的具体配置信息。 子网 实例所关联的子网，您可以单击子网名称跳转查看子网的具体配置信息。 安全组 实例所关联的安全组，您可以单击安全组名称跳转查看安全组的具体配置信息，也可以单击“更改”按钮，绑定新的安全组。 路由 配置私有网段。ROMA Connect实例创建完成后，默认能够与创建时指定的VPC子网网段进行互通，若有额外的私有网段需要与实例互通，可通过该配置项进行路由配置。 付费信息 实例的计费模式。 RCU分布配置 分布给不同集成能力的RCU值。 消息存储空间 实例的MQS消息存储空间信息，包括存储类型和存储空间使用率（百分比）。 MQS基本信息 实例的MQS的基本配置信息。 对应Kafka引擎类型，您可以根据实际需要修改“容量阈值策略”。 连接地址 实例的相关对接地址，包括： ROMA Connect连接地址 设备集成LINK连接地址 服务集成APIC连接地址 服务集成 APIC内网连接地址（自定义后端组件和网关组件） 消息集成 MQS内网连接地址 消息集成 MQS公网连接地址（仅开启公网访问时展示） 您可以单击连接地址右侧的“”复制连接地址信息。 公网访问入口 若实例未开启公网入口，您可以单击右侧“”开启公网入口。 若实例已开启公网入口，您可以单击地址右侧的“ ”复制地址信息。 若实例已开启公网入口，您可以单击公网带宽右侧的“ ”修改公网入口带宽大小。 若实例已开启公网入口，您可以单击右侧的“ ”关闭公网入口。 须知： 弹性IP地址为随机分配，开启后关闭再开启不保证IP地址分配的前后一致性。 公网IP访问控制（白名单） 仅当“公网访问入口”开启时可配置。 公网IP访问控制采用白名单模式，在开启的情况下仅白名单内的IP地址可以访问，未开启则默认全放通。 单击右侧更改进入编辑模式，您可以添加或删除允许放通的IP地址。 私网IP访问控制（白名单） 私网IP访问控制采用白名单模式，在开启的情况下仅白名单内的IP地址可以访问，未开启则默认全放通。 单击右侧更改进入编辑模式，您可以添加或删除允许放通的IP地址。
-
配置参数 参数 说明 区域 FunctionGraph服务所在的区域。 项目 FunctionGraph服务所在的项目。 函数 选择要调用的函数。 调用方式 选择函数的调用方式，当前仅支持“同步”方式。 请求数据 执行函数的请求体，必须为JSON格式。可以通过引用变量的方式引用前序节点中的数据。 函数工作流 服务具有强大的数据处理能力，可应用于多种场景。其中一个使用场景为，当使用“数据源类型组件”从数据库（如MySQL）中查询数据时，对于BLOB等类型的数据（如图片），最终查询到的结果为byte数组形式。此时可以使用函数工作流服务，对从数据库查询到的数据做进一步处理，如进行Base64编码等。
-
创建函数工作流连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”，在连接器页面单击“新建连接”。 选择“函数工作流”连接器。 在弹窗中配置连接器信息，完成后单击“确定”。 参数 说明 连接名称 填写连接器实例名称。 鉴权方式 选择连接器的鉴权方式。 云服务委托，即委托其他云服务管理资源。 AK/SK Access Key 仅当“鉴权方式”选择“AK/SK”时需要配置。 当前账号的AK（Access Key ID）。请参考访问密钥获取AK，如果已生成过AK/SK，找到原来已下载的AK/SK文件，文件名一般为：credentials.csv。 Secret Access Key 仅当“鉴权方式”选择“AK/SK”时需要配置。 当前账号的SK（Secret Access Key）。请参考访问密钥获取SK，如果已生成过AK/SK，找到原来已下载的AK/SK文件，文件名一般为credentials.csv。 描述 填写连接器的描述信息，用于识别不同的连接器。
-
准备依赖资源 ROMA Connect实例所需资源的具体要求和创建指导如下所示。 表1 实例依赖资源 资源 要求 创建指导 VPC和子网 不同的ROMA Connect实例可以复用相同的VPC和子网，也可以使用不同的VPC和子网，请根据实际需要进行配置。在创建VPC和子网时应注意如下要求： 创建的VPC与使用的ROMA Connect服务应在相同的区域。 创建VPC和子网时，如无特殊需求，配置参数使用默认配置即可（RCU实例暂不支持IPV6，创建子网不可勾选IPv6设置）。 创建VPC和子网的操作指导请参考创建虚拟私有云和子网，若需要在已有VPC上创建和使用新的子网，请参考为虚拟私有云创建新的子网。
更多精彩内容
CDN加速
GaussDB
文字转换成语音
免费的服务器
如何创建网站
域名网站购买
私有云桌面
云主机哪个好
域名怎么备案
手机云电脑
SSL证书申请
云点播服务器
免费OCR是什么
电脑云桌面
域名备案怎么弄
语音转文字
文字图片识别
云桌面是什么
网址安全检测
网站建设搭建
国外CDN加速
SSL免费证书申请
短信批量发送
图片OCR识别
云数据库MySQL
个人域名购买
录音转文字
扫描图片识别文字
OCR图片识别
行驶证识别
虚拟电话号码
电话呼叫中心软件
怎么制作一个网站
Email注册网站
华为VNC
图像文字识别
企业网站制作
个人网站搭建
华为云计算
免费租用云托管
云桌面云服务器
ocr文字识别免费版
HTTPS证书申请
图片文字识别转换
国外域名注册商
使用免费虚拟主机
云电脑主机多少钱
鲲鹏云手机
短信验证码平台
OCR图片文字识别
SSL证书是什么
申请企业邮箱步骤
免费的企业用邮箱
云免流搭建教程
域名价格
