云服务器内容精选
-
重视消息生产与消费的确认过程 消息生产 生产消息后，生产者需要根据ROMA Connect的返回信息确认消息是否发送成功，如果返回失败需要重新发送。 每次生产消息，生产者都需要等待消息发送API的应答信号，以确认消息是否成功发送。在消息传递过程中，如果发生异常，生产者没有接收到发送成功的信号，生产者自己决策是否需要重复发送消息。如果接收到发送成功的信号，则表明该消息已经被ROMA Connect可靠存储。 消息消费 消息消费时，消费者需要确认消息是否已被成功消费。 生产的消息被依次存储在ROMA Connect的存储介质中。消费时依次获取ROMA Connect中存储的消息。消费者获取消息后，进行消费并记录消费成功或失败的状态，并将消费状态提交到ROMA Connect，由ROMA Connect决定消费下一批消息或回滚重新消费消息。 在消费过程中，如果出现异常，没有提交消费确认，该批消息会在后续的消费请求中再次被获取。
-
消息生产与消费的幂等传递 ROMA Connect设计了一系列可靠性保障措施，确保消息不丢失。例如使用消息同步存储机制防止系统与服务器层面的异常重启或者掉电，使用消息确认（ACK）机制解决消息传输过程中遇到的异常。 考虑到网络异常等极端情况，用户除了做好消息生产与消费的确认，还需要配合ROMA Connect完成消息发送与消费的重复传输设计。 当无法确认消息是否已发送成功，生产者需要将消息重复发送给ROMA Connect。 当重复收到已处理过的消息，消费者需要告诉ROMA Connect消费成功且保证不重复处理。
-
消息可以批量生产和消费 为提高消息发送和消息消费效率，推荐使用批量消息发送和消费。通常，默认消息消费为批量消费，而消息发送尽可能采用批量发送，可以有效减少API调用次数。 如下面两张示意图对比所示，消息批量生产与消费，可以减少API调用次数，节约资源。 图1 消息批量生产与消费 批量发送消息时，单次不能超过10条消息，总大小不能超过512KB。 批量生产（发送）消息可以灵活使用，在消息并发多的时候，批量发送，并发少时，单条发送。这样能够在减少调用次数的同时保证消息发送的实时性。 图2 消息逐条生产与消费 此外，批量消费消息时，消费者应按照接收的顺序对消息进行处理、确认，当对某一条消息处理失败时，不再需要继续处理本批消息中的后续消息，直接对已正确处理的消息进行确认即可。
-
操作步骤 登录新版ROMA Connect控制台。 在左侧导航栏选择“资源管理”，在资源管理页面单击新版的容器实例，进入实例控制台。 在实例控制台的“实例信息”页面中，选择“基本信息”页签，可查看和编辑实例的基本信息。 表1 ROMA Connect基本信息 内容 内容说明 ROMA Connect实例信息 实例的基本信息，包括实例名称、实例ID、描述、可用区、创建时间。 您可以根据实际需要修改“实例名称”、“描述”等。 您可以单击“实例ID”右侧的“”复制实例ID信息。 虚拟私有云 实例所关联的VPC，您可以单击VPC名称跳转查看VPC的具体配置信息。 子网 实例所关联的子网，您可以单击子网名称跳转查看子网的具体配置信息。 安全组 实例所关联的安全组，您可以单击安全组名称跳转查看安全组的具体配置信息，也可以单击“更改”按钮，绑定新的安全组。 路由 配置私有网段。ROMA Connect实例创建完成后，默认能够与创建时指定的VPC子网网段进行互通，若有额外的私有网段需要与实例互通，可通过该配置项进行路由配置。 付费信息 实例的计费模式。 RCU分布配置 分布给不同集成能力的RCU值。 消息存储空间 实例的MQS消息存储空间信息，包括存储类型和存储空间使用率（百分比）。 MQS基本信息 实例的MQS的基本配置信息。 对应Kafka引擎类型，您可以根据实际需要修改“容量阈值策略”。 连接地址 实例的相关对接地址，包括： ROMA Connect连接地址 设备集成LINK连接地址 服务集成APIC连接地址 服务集成 APIC内网连接地址（自定义后端组件和网关组件） 消息集成 MQS内网连接地址 消息集成 MQS公网连接地址（仅开启公网访问时展示） 您可以单击连接地址右侧的“”复制连接地址信息。 公网访问入口 若实例未开启公网入口，您可以单击右侧“”开启公网入口。 若实例已开启公网入口，您可以单击地址右侧的“ ”复制地址信息。 若实例已开启公网入口，您可以单击公网带宽右侧的“ ”修改公网入口带宽大小。 若实例已开启公网入口，您可以单击右侧的“ ”关闭公网入口。 须知： 弹性IP地址为随机分配，开启后关闭再开启不保证IP地址分配的前后一致性。 公网IP访问控制（白名单） 仅当“公网访问入口”开启时可配置。 公网IP访问控制采用白名单模式，在开启的情况下仅白名单内的IP地址可以访问，未开启则默认全放通。 单击右侧更改进入编辑模式，您可以添加或删除允许放通的IP地址。 私网IP访问控制（白名单） 私网IP访问控制采用白名单模式，在开启的情况下仅白名单内的IP地址可以访问，未开启则默认全放通。 单击右侧更改进入编辑模式，您可以添加或删除允许放通的IP地址。
-
配置参数 参数 说明 区域 FunctionGraph服务所在的区域。 项目 FunctionGraph服务所在的项目。 函数 选择要调用的函数。 调用方式 选择函数的调用方式，当前仅支持“同步”方式。 请求数据 执行函数的请求体，必须为JSON格式。可以通过引用变量的方式引用前序节点中的数据。 函数工作流 服务具有强大的数据处理能力，可应用于多种场景。其中一个使用场景为，当使用“数据源类型组件”从数据库（如MySQL）中查询数据时，对于BLOB等类型的数据（如图片），最终查询到的结果为byte数组形式。此时可以使用函数工作流服务，对从数据库查询到的数据做进一步处理，如进行Base64编码等。
-
创建函数工作流连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”，在连接器页面单击“新建连接”。 选择“函数工作流”连接器。 在弹窗中配置连接器信息，完成后单击“确定”。 参数 说明 连接名称 填写连接器实例名称。 鉴权方式 选择连接器的鉴权方式。 云服务委托，即委托其他云服务管理资源。 AK/SK Access Key 仅当“鉴权方式”选择“AK/SK”时需要配置。 当前账号的AK（Access Key ID）。请参考访问密钥获取AK，如果已生成过AK/SK，找到原来已下载的AK/SK文件，文件名一般为：credentials.csv。 Secret Access Key 仅当“鉴权方式”选择“AK/SK”时需要配置。 当前账号的SK（Secret Access Key）。请参考访问密钥获取SK，如果已生成过AK/SK，找到原来已下载的AK/SK文件，文件名一般为credentials.csv。 描述 填写连接器的描述信息，用于识别不同的连接器。
-
准备依赖资源 ROMA Connect实例所需资源的具体要求和创建指导如下所示。 表1 实例依赖资源 资源 要求 创建指导 VPC和子网 不同的ROMA Connect实例可以复用相同的VPC和子网，也可以使用不同的VPC和子网，请根据实际需要进行配置。在创建VPC和子网时应注意如下要求： 创建的VPC与使用的ROMA Connect服务应在相同的区域。 创建VPC和子网时，如无特殊需求，配置参数使用默认配置即可（RCU实例暂不支持IPV6，创建子网不可勾选IPv6设置）。 创建VPC和子网的操作指导请参考创建虚拟私有云和子网，若需要在已有VPC上创建和使用新的子网，请参考为虚拟私有云创建新的子网。
-
配置参数 表1 所有动作参数集合 参数 说明 包含此参数的动作 连接方式 选择连接OBS的连接方式。 选择区域ID 输入Endpoint 所有动作均包含此参数 区域ID 选择区域ID。 所有动作均包含此参数 Endpoint 输入Endpoint。 所有动作均包含此参数 桶名 OBS桶名。 下载对象、删除对象、创建桶、删除桶、获取桶元数据、批量删除指定桶的对象、上传对象 对象名 请输入对象名称，例如123.png。当前仅支持下载txt，csv，png，jpg和jpeg格式的文件。obs中没有文件系统中的文件和文件夹概念，对象名称中的“/”是用来模拟文件系统中的文件夹概念的，“test/123.jpg”的对象名称（Key）仍然是“test/123.jpg”。这种情况此处应填写为“test/123.jpg”。 下载对象、删除对象、上传对象 字符集 字符集支持选择UTF-8和GBK，当下载的文件中包含中文字符时，推荐使用GBK，避免文件中的中文字符出现乱码现象。 下载对象 指定桶的类型 列举指定类型的桶。默认取值为OBJECT，即对象桶。 OBJECT POXIS 获取桶列表 是否同时查询桶的区域位置 是否同时查询桶的区域位置。 是：同时查询桶的区域位置； 否：不查询桶的区域位置。默认取值为否。 获取桶列表 桶的所属区域 该参数定义了桶将会被创建在哪个区域，如果使用的终端节点是obs.myhuaweicloud.com，可以不携带此参数；如果使用的终端节点不是obs.myhuaweicloud.com，则必须携带此参数。终端节点为obs.myhuaweicloud.com且用户未设定区域时，默认为华北-北京一（cn-north-1）。 创建桶 跨域请求origin 预请求指定的跨域请求origin（通常为 域名 ）。允许多条匹配规则，以回车换行为间隔。每个匹配规则允许使用最多一个“*”通配符。 获取桶元数据 HTTP请求头 跨域请求可以使用的HTTP头域。只有匹配上允许的头域中的配置，才被视为是合法的CORS请求。 获取桶元数据 对象名前缀 限定返回的对象名必须带有prefix前缀。 获取桶内对象列表 起始位置 列举对象的起始位置，返回的对象列表将是对象名按照字典序排序后该参数以后的所有对象。 获取桶内对象列表 最大数目 列举对象的最大数目，取值范围为1~1000，当超出范围时，按照默认的1000进行处理。 获取桶内对象列表 对象名分组字符 用于对对象名进行分组的字符。对于对象名中包含分组字符的对象，其对象名（如果请求中指定了prefix，则此处的对象名需要去掉prefix）中从首字符至第一个分组字符之间的字符串将作为一个分组并作为commonPrefix返回。 获取桶内对象列表 编码类型 对响应中的部分元素进行指定类型的编码。如果 delimiter、marker、prefix、nextMarker 和 key 包含xml 1.0标准不支持的控制字符，可通过设置 encodingType 对响应中的 delimiter、marker、prefix（包括commonPrefixes 中的 prefix）、nextMarker 和 key 进行编码。 获取桶内对象列表 响应模式 批量删除对象的响应方式，默认值是“否” 否：表示详细模式，返回的删除成功和删除失败的所有结果； 是：表示简单模式，只返回的删除过程中出错的结果。 批量删除指定桶的对象 基础类型 待上传对象的基础类型。如果待上传对象的格式为txt或者csv，此处应选择文本类型；如果待上传对象的格式为png、jpg和jpeg三种格式，此处应选择图片类型，默认为文本类型。 上传对象 文本对象的内容 请输入文本对象的内容，系统会根据内容和对象名称生成对象, 如果需要上传文本类型对象，该项必须配置。 上传对象 图片对象的base64编码 请输入图片对象的base64编码，系统会根据内容和对象名称生成对象, 如果需要上传二进制类型对象，该项必须配置。 上传对象
-
创建 对象存储服务 连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”，在连接器页面单击“新建连接”。 选择“对象存储服务”连接器。 在弹窗中配置连接器信息，完成后单击“确定”。 参数 说明 连接名称 填写连接器实例名称。 访问密钥ID 当前账号的AK（Access Key ID）。请参考访问密钥获取AK，如果已生成过AK/SK，找到原来已下载的AK/SK文件，文件名一般为：credentials.csv。 秘密访问密钥 当前账号的SK（Secret Access Key）。请参考访问密钥获取SK，如果已生成过AK/SK，找到原来已下载的AK/SK文件，文件名一般为credentials.csv。 描述 填写连接器的描述信息，用于识别不同的连接器。
-
什么是区域、可用区？ 我们用区域和可用区来描述数据中心的位置，您可以在特定的区域、可用区创建资源。 区域（Region）：从地理位置和网络时延维度划分，同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region，通用Region指面向公共租户提供通用云服务的Region；专属Region指只承载同一类业务或只面向特定租户提供业务服务的专用Region。 可用区（AZ，Availability Zone）：一个AZ是一个或多个物理数据中心的集合，有独立的风火水电，AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连，以满足用户跨AZ构建高可用性系统的需求。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前，华为云已在全球多个地域开放云服务，您可以根据需求选择适合自己的区域和可用区。
-
如何选择区域？ 选择区域时，您需要考虑以下几个因素： 地理位置 一般情况下，建议就近选择靠近您或者您的目标用户的区域，这样可以减少网络时延，提高访问速度。不过，在基础设施、BGP网络品质、资源的操作与配置等方面，中国大陆各个区域间区别不大，如果您或者您的目标用户在中国大陆，可以不用考虑不同区域造成的网络时延问题。 在除中国大陆以外的亚太地区有业务的用户，可以选择“中国-香港”、“亚太-曼谷”或“亚太-新加坡”区域。 在非洲地区有业务的用户，可以选择“南非-约翰内斯堡”区域。 在欧洲地区有业务的用户，可以选择“欧洲-巴黎”区域。 资源的价格 不同区域的资源价格可能有差异，请参见华为云服务价格详情。
-
从OBS解析文件到RDS数据库，采集过一次后，后面采集会进行更新吗？ 如果是采集同一个文件，每次在OBS上更新文件，目标端数据库有主键情况下，每次会根据主键更新数据。 如果是采集多个文件，目标端数据库有主键且主键相同的情况下，每次都会更新成时间最早的文件里的值，即数据内容没有变化。因为从OBS获取多个文件默认按照时间降序排序，先解析最晚上传的文件，所以最早上传的文件最后解析，这样就会导致任务执行结束后，数据库中的值还是最早上传的文件中的值。 父主题： 数据集成普通任务
-
源端API类型数据源自定义周期如何设置？ 创建FDI普通任务时，当源端数据源选择API类型并且开启增量迁移时，支持自定义周期，自定义周期配置详细说明可参照以下示例： 当粒度单位为“小时”时，分别有以下四种配置场景。 以时间点2020-11-05 22:10为例，如下图。 周期指定为“当前周期”，周期右边界“开区间”时。 开始时间字段和结束时间字段取值分别为当前周期的开始时间和结束时间。 获取数据的时间区间为[2020-11-05 22:00:00.0,2020-11-05 23:00:00.0] 周期指定为“当前周期”，周期右边界“闭区间”时。 开始时间字段和结束时间字段取值分别为当前周期的开始时间和结束时间，结束时间减一毫秒。 获取数据的时间区间为[2020-11-05 22:00:00.0, 2020-11-05 22:59:59.999] 周期指定为“上一个周期”，周期右边界“开区间”时。 开始时间字段和结束时间字段取值分别为上一周期的开始时间和结束时间。 获取数据的时间区间为[2020-11-05 21:00:00.0, 2020-11-05 22:00:00.0] 周期指定为“上一个周期”，周期右边界“闭区间”时。 开始时间字段和结束时间字段取值分别为上一周期的开始时间和结束时间，结束时间减一毫秒。 获取数据的时间区间为[2020-11-05 21:00:00.0, 2020-11-05 21:59:59.999] 当粒度单位为“天”时，分别有以下四种配置场景。 以时间点2020-11-06 22:10为例，如下图。 周期指定为“当前周期”，周期右边界“开区间”时。 开始时间字段和结束时间字段取值分别为当前周期的开始时间和结束时间。 获取数据的时间区间为[2020-11-06 00:00:00.0, 2020-11-07 00:00:00.0] 周期指定为“当前周期”，周期右边界“闭区间”时。 开始时间字段和结束时间字段取值分别为当前周期的开始时间和结束时间，结束时间减一毫秒。 获取数据的时间区间为[2020-11-06 00:00:00.0, 2020-11-06 23:59:59.999] 周期指定为“上一个周期”，周期右边界“开区间”时。 开始时间字段和结束时间字段取值分别为上一周期的开始时间和结束时间。 获取数据的时间区间为[2020-11-05 00:00:00.0, 2020-11-06 00:00:00.0] 周期指定为“上一个周期”，周期右边界“闭区间”时。 开始时间字段和结束时间字段取值分别为上一周期的开始时间和结束时间，结束时间减一毫秒。 获取数据的时间区间为[2020-11-05 00:00:00.0, 2020-11-05 23:59:59.999] 当粒度单位为“周”时，分别有以下四种配置场景。 以时间点2020-11-06 22:10为例，如下图。 周期指定为“当前周期”，周期右边界“开区间”时。 开始时间字段和结束时间字段取值分别为当前周期的开始时间和结束时间。 获取数据的时间区间为[2020-11-02 00:00:00.0, 2020-11-09 00:00:00.0] 周期指定为“当前周期”，周期右边界“闭区间”时。 开始时间字段和结束时间字段取值分别为当前周期的开始时间和结束时间，结束时间减一毫秒。 获取数据的时间区间为[2020-11-02 00:00:00.0, 2020-11-08 23:59:59.999] 周期指定为“上一个周期”，周期右边界“开区间”时。 开始时间字段和结束时间字段取值分别为上一周期的开始时间和结束时间。 获取数据的时间区间为[2020-10-26 00:00:00.0, 2020-11-02 00:00:00.0] 周期指定为“上一个周期”，周期右边界“闭区间”时。 开始时间字段和结束时间字段取值分别为上一周期的开始时间和结束时间，结束时间减一毫秒。 获取数据的时间区间为[2020-10-26 00:00:00.0, 2020-11-01 23:59:59.999] 当粒度单位为“月”时，分别有以下四种配置场景。 以时间点2020-11-06 22:10为例，如下图。 周期指定为“当前周期”，周期右边界“开区间”时。 开始时间字段和结束时间字段取值分别为当前周期的开始时间和结束时间。 获取数据的时间区间为[2020-11-01 00:00:00.0, 2020-12-01 00:00:00.0] 周期指定为“当前周期”，周期右边界“闭区间”时。 开始时间字段和结束时间字段取值分别为当前周期的开始时间和结束时间，结束时间减一毫秒。 获取数据的时间区间为[2020-11-01 00:00:00.0, 2020-11-30 23:59:59.999] 周期指定为“上一个周期”，周期右边界“开区间”时。 开始时间字段和结束时间字段取值分别为上一周期的开始时间和结束时间。 获取数据的时间区间为[2020-10-01 00:00:00.0, 2020-11-01 00:00:00.0] 周期指定为“上一个周期”，周期右边界“闭区间”时。 开始时间字段和结束时间字段取值分别为上一周期的开始时间和结束时间，结束时间减一毫秒。 获取数据的时间区间为[2020-10-01 00:00:00.0, 2020-10-31 23:59:59.999] 父主题： 数据集成普通任务
-
MRS Hive是否支持分区？ MRS Hive支持分区。 在输入Mapping信息时，可以参考下面格式： { "partion_col":{ "origin_col": "源表分区字段名", "target_col": "目标分区字段名" }, "col_seq":{ "index_0":"源表字段1", "index_1":"源表字段2", "index_2":"源表字段3" } } MRS Hive也不是必须要分区。 若没有分区，在输入mapping信息时，参考下面格式： { "col_seq":{ "index_0":"源表字段1", "index_1":"源表字段2", "index_2":"源表字段3" } } 父主题： 数据集成普通任务
-
FDI各类数据库支持哪些数据类型？ FDI各类数据库支持的数据类型有： Kafka数据库：string MySQL数据库：integer，bigint，number，varchar，char，float，date，timestamp，datetime Oracle数据库：integer，bigint，number，varchar，char，float，date，timestamp SQL Server数据库：integer，bigint，varchar，char，float，date，datetime PostgreSQL数据库：integer，number，varchar，char，float，date，timestamp MongoDB数据库：integer，double，string，boolean，date，long，object，array DIS：integer，JSON，arraystring，boolean，long，double，bigdecimal，date MRS Hive数据库：integer，bigint，string，float，timestamp，varchar，char，date MRS HBase数据库：string 不建议在MRS Hive数据库中使用varchar、char、date，长度超过限制后，FDI会自动进行截取，可能造成信息不完整。 父主题： 数据集成普通任务
更多精彩内容
CDN加速
GaussDB
文字转换成语音
免费的服务器
如何创建网站
域名网站购买
私有云桌面
云主机哪个好
域名怎么备案
手机云电脑
SSL证书申请
云点播服务器
免费OCR是什么
电脑云桌面
域名备案怎么弄
语音转文字
文字图片识别
云桌面是什么
网址安全检测
网站建设搭建
国外CDN加速
SSL免费证书申请
短信批量发送
图片OCR识别
云数据库MySQL
个人域名购买
录音转文字
扫描图片识别文字
OCR图片识别
行驶证识别
虚拟电话号码
电话呼叫中心软件
怎么制作一个网站
Email注册网站
华为VNC
图像文字识别
企业网站制作
个人网站搭建
华为云计算
免费租用云托管
云桌面云服务器
ocr文字识别免费版
HTTPS证书申请
图片文字识别转换
国外域名注册商
使用免费虚拟主机
云电脑主机多少钱
鲲鹏云手机
短信验证码平台
OCR图片文字识别
SSL证书是什么
申请企业邮箱步骤
免费的企业用邮箱
云免流搭建教程
域名价格
