检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive目标端写入时出现数据乱码 原因分析 创建任务时,目标端存储类型选择与建表时类型不一致。 比如建表时存储类型为text(文本文件),而创建任务时目标端存储类型选择了RCFile格式。 解决方案 修改界面选择的存储类型与建表时一致即可。 父主题: 数据集成任务
source_datasource_id String 源端数据源ID。 最小长度:1 最大长度:64 target_datasource_id String 目标端数据源ID。 最小长度:1 最大长度:64 source_datasource_name String 源端数据源的名称。 最小长度:1 最大长度:64
datasource_id 是 String 数据源ID。 最小长度:1 最大长度:64 表2 Query参数 参数 是否必选 参数类型 描述 direction_type 是 String 数据源所在任务位置。 SOURCE 数据源处于任务源端 TARGET 数据源处于任务目标端 最小长度:0
jar & 以MQS数据源作为源端,MySQL作为目标端为例创建实时任务。 参考创建数据集成任务(普通任务)接入源端MQS数据源和目标端MySQL数据源,并创建实时任务。完成后运行任务,可以将源端MQS数据源中的数据,迁移到MySQL数据源的表中。 父主题: 数据集成开发指导
可查看授权应用的数据源。 可查看、调试和导出授权应用的API。 可查看和导出授权应用的Topic。 可查看授权应用的设备、产品和规则,可导出授权应用的设备、产品和规则,并调试设备。 modify 可在授权应用下创建和编辑数据源。 可在授权应用下创建、编辑、发布、下线和导入API。 可在授权应用下创建和编辑Topic。
概述 ROMA Connect是一个全栈式的应用与数据集成平台,提供消息、数据、API、设备等集成能力,简化企业上云,支持云上云下、跨区域集成,帮助企业实现数字化转型。 您可以使用本文档提供的API对ROMA Connect进行相关操作,如创建、删除、变更API、添加自定义后端等。支持的全部操作请参见API概览。
托管API数量 100个 服务集成(数据API/函数API) 数据API/函数API转发 100TPS 2 1 自定义后端数量 50个 API流量 0.24Mbps 数据集成 非消息类数据流量 约2MBps,单任务最大4MBps 4 2 消息类数据流量 约5MBps,单任务最大10MBps
data_size 数据大小 统计上一个统计周期内,此实例下所有任务累计写入数据的总大小。 如果希望写入的数据大小超过或低于某个阈值时触发告警,可以配置此指标监控。 ≥0 单位:Byte/KB/MB/GB/TB/PB 实例 5分钟 data_count 数据条数 统计上一个统计周
API的认证信息,包括集成应用/客户端的Key和Secret、AppCode、AK/SK。 后端服务签名密钥的Key和Secret。 消息集成 发送和接收消息 Topic的连接地址(仅资产迁移场景需要)。 启用SASL认证时使用的认证Key和Secret。 设备集成 设备上报消息和下发命令 设备的连接地址(仅资产迁移场景需要)。
图解应用与数据集成平台
ates/{product_template_id} roma:productTemplates:delete - √ √ 父主题: 权限和授权项
周期指定为“当前周期”,周期右边界“开区间”时。 开始时间字段和结束时间字段取值分别为当前周期的开始时间和结束时间。 获取数据的时间区间为[2020-11-05 22:00:00.0,2020-11-05 23:00:00.0] 周期指定为“当前周期”,周期右边界“闭区间”时。 开始时间字段和结束时间字段取值分别为当
使用APP认证时,认证签名只能签12MB,如果请求体大于12MB,签名会失败。 托管类API的请求体最大为2GB。 函数API请求体受内部沙箱内存大小的限制,无精确计算值。 父主题: 服务集成
计资源在某个月份的总开销,建议您核对表2所示的信息是否和实际相符。 表2 实例明细账单 产品类型 应用与数据集成平台 ROMA Connect 产品 应用与数据集成平台 ROMA 计费模式 按需 资源名称/ID 资源的名称和ID 例如:roma-zwnn,8ec1b2db-92c
执行以下命令修改logstash.conf文件中user和password的值,修改为与步骤4.c中设置的用户名密码一致。 vim /ELK/logstash/logstash.conf 执行以下命令修改kibana.yml文件中elasticsearch.username和elasticsearch.password的值,修改为与步骤4
roma:assets:export - √ √ 创建数据字典 POST /v2/{project_id}/instances/{instance_id}/dictionaries roma:dictionaries:create - √ √ 更新数据字典 PUT /v2/{project_i
以自定义数据源作为源端,MySQL作为目标端为例创建定时任务。 参考创建数据集成任务(普通任务)接入源端自定义数据源和目标端MySQL数据源,并创建定时任务。完成后运行任务,可以将源端自定义的数据源中的数据,迁移到MySQL数据源的表中。 执行任务后,FDI会根据自定义连接实例定义的连接地址(http://127
Compute Unit,ROMA计算单元)数量和使用时长计费。详细介绍请参见计费项。 续费 包年/包月实例在到期后会影响实例的正常运行。如果您想继续使用实例,需要在规定的时间内为实例进行续费,否则实例会自动释放,数据也可能会丢失。续费包括手动续费和自动续费两种方式,您可以根据需求
DIS数据库类型 源端进行数据采集时,一个通道只支持一个任务运行。 WebSocket数据库类型 创建数据集成任务时,“是否解析”选择“是”时,“元数据”中的“解析路径”必须配置,否则任务会失败。 关系型数据库类型 最大只支持1000万数据量的表同步。 组合任务(CDC) 源端: 定
应用ID。 最小长度:1 最大长度:36 name 是 String 产品名称,创建产品时租户内唯一,长度最大64,仅支持中文、英文字、数字、下划线和中划线。 最小长度:1 最大长度:64 manufacturer_id 是 String 产品供应商ID。 最小长度:2 最大长度:50 manufacturer_name