检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
步实时数据的场景。实现一个源端多个数据表到一个目标端多个数据表的实时同步及增量同步,提高了数据的集成同步效率。 组合任务支持数据表之间字段(列)级别的灵活映射,例如源端一个数据表中的多个字段可分别映射到目标端的不同数据表中,或者源端多个数据表中的字段可以映射到目标端的一个数据表中。
多品牌、多种类的生产设备要实现实时监控管理,则设备数据与环境数据需要采集和上传,不同品牌和种类的设备,使用的数据格式、数据库标准不一。 难以预防设备故障 工厂流水线上,任何一台机器出现故障,会对整条流水线产生巨大的影响。 难以优化企业的生产策略和决策 因为收集到的数据格式不一,给
properties”文件中。 生成MRS Kafka配置文件。 将上述获取到的文件放到一个新的目录下,并打包成zip文件,所有文件位于zip文件的根目录下。 文件名只能由英文字母或数字组成,长度不超过255个字符。 文件大小不超过2MB。 父主题: 获取数据源配置文件
Connect通过集成应用来实现同一实例内不同用户间的资源隔离。用户在ROMA实例中创建的资源(如数据源、API、Topic、产品等等)都要归属到某个集成应用下,IAM用户默认只能查看和管理自己创建的集成应用和资源,无法查看其他IAM用户创建的集成应用和资源,主账号可查看和管理其下所有IAM用户所创建的资源。 如果需
获取“krb5.conf”和“user.keytab”文件。 参考下载用户认证文件,在MRS Manager下载用户认证文件,解压后得到“krb5.conf”和 “user.keytab”文件。 获取“core-site.xml”、“hdfs-site.xml”和“hosts”文件。
delete:应用下资源的删除权限。 modify:应用下资源的修改权限,包括API发布、下线。 admin:应用和应用下资源的权限。 仅提供admin时,会自动应用其它所有权限。 未提供read时会自动应用read权限。 create_time String 创建时间。 update_time
config”路径中得到“core-site.xml”、“hdfs-site.xml”文件。 生成MRS HBase配置文件。 将上述获取到的文件放到一个新的目录下,并打包成zip文件,所有文件位于zip文件的根目录下。 文件名只能由英文字母或数字组成,长度不超过255个字符。 文件大小不超过2MB。 父主题: 获取数据源配置文件
config”路径中得到“core-site.xml”、“hdfs-site.xml”文件。 生成MRS Hive配置文件。 将上述获取到的文件放到一个新的目录下,并打包成zip文件,所有文件位于zip文件的根目录下。 文件名只能由英文字母或数字组成,长度不超过255个字符。 文件大小不超过2MB。 父主题: 获取数据源配置文件
附录:如何提高消息处理效率 消息生产和消费的可靠性必须由ROMA Connect、生产者和消费者协同工作才能保证,对使用ROMA Connect的生产者和消费者有如下的使用建议。 重视消息生产与消费的确认过程 消息生产 生产消息后,生产者需要根据ROMA Connect的返回信息确认消息是否发送成功,如果返回失败需要重新发送。
字符集:中文、英文字母、数字、下划线和空格。 约束:实例下唯一。 remark String 字典描述。 code String 字典编码。 字符集:英文字母、数字、下划线和空格。 约束:实例下唯一。 extend_one String 字典扩展字段1。 字符集:中文、英文字母、数字、下划线和空格。 extend_two
选择是否跳过数据文件中的文件头信息。文件头为添加在文件中的首行或者开头若干行信息,帮助识别和区分文件内容。 skip_header_rows 否 Integer 跳过文件头行数。 extend_meta_data 否 List<MetaData> 源端数据源元数据配置信息的拓展信息。 source_meta_data
(响应消息头中X-Subject-Token的值)。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 total Integer 总数,与分页无关。 size Integer 当前页的数量,小于等于请求里指定的limit。 dictionaries Array
返回结果 状态码 请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。 状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 对于获取用户Token接口,如果调用后返回状态码为“201”,则表示请求成功。 响应消息头 对应请求
中X-Subject-Token的值)。 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 name String 后端API名称。 支持汉字、英文、数字、中划线、下划线、点、斜杠、中英文格式下的小括号和冒号、中文格式下的顿号,且只能以英文、汉字和数字开头。
delete:应用下资源的删除权限。 modify:应用下资源的修改权限,包括API发布、下线。 admin:应用和应用下资源的权限。 仅提供admin时,会自动应用其它所有权限。 未提供read时会自动应用read权限。 create_time String 创建时间。 update_time
获发生的异常并根据配置的参数进行重试和异常处理操作。 配置参数 参数 说明 错误类型 捕获异常类型。“运行异常”包含当前所有服务异常。 包含错误信息 捕获异常包含错误信息。只有当捕获的异常信息中包含指定错误信息时,会进行异常处理步骤。 重试次数 发生异常时对监控部分流程的最大重试次数。
支持Broker水平扩展,支持百万设备长连接。 支持设备与应用之间的双向同步 基于设备影子实现设备与应用之间配置数据、状态数据的双向同步。 支持安全的设备信息传输 提供设备、应用授权认证及Topic的双向绑定授权,保障设备安全与唯一性,同时提供TLS标准的数据传输通道保障消息传输通道的安全。 使用流程 使用ROMA
URL中的域名与证书绑定的域名不一致 URL中的域名与证书绑定的域名修改为一致 400 APIG.3477 The authorizer type and API do not match. 指定的自定义认证类型与API的使用位置不匹配 对不同的API认证位置使用正确类型的自定义认证 400 APIG
配置实例访问公网 RCU实例网络出公网走租户VPC,网络的公网访问需要租户自行配置,RCU实例访问公网需要为租户VPC开通NAT网关。 操作步骤 查看RCU实例信息,查看实例的VPC和子网。 购买公网NAT网关,VPC和子网选择实例所在的VPC及子网,其他根据业务需求配置。 图1 购买公网NAT网关
262144 默认的批量处理消息字节数上限。producer将试图批处理消息记录,以减少请求次数。这将改善client与server之间的性能。不会试图处理大于这个字节数的消息字节数。 发送到brokers的请求将包含多个批量处理,其中会包含对每个partition的一个请求。 较小的批量处