检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS Hive写入时数据全部写在第一个字段里 原因分析 建表时没有使用列分隔符。 解决方案 在数据库中执行以下命令设置分隔符: alter table 表名set serdeproperties('field.delim'='分隔符') 父主题: 数据集成任务
成能力提供不同的性能规格,分配的RCU数量越多,集成能力的性能规格越高。 连接器 ROMA Connect支持常见的数据源类型,如关系型数据库、大数据存储、半结构化存储、消息系统等。如果ROMA Connect支持的数据源类型无法满足您的数据集成场景,您可以自行开发一个数据源读写
接入DWS数据源 接入Gauss100数据源 接入HANA数据源 接入HIVE数据源 接入MongoDB数据源 接入MySQL数据源 接入Oracle数据源 接入PostgreSQL数据源 接入Redis数据源 接入SQL Server数据源 父主题: 创建并开放数据API
函数工作流服务具有强大的数据处理能力,可应用于多种场景。其中一个使用场景为,当使用“数据源类型组件”从数据库(如MySQL)中查询数据时,对于BLOB等类型的数据(如图片),最终查询到的结果为byte数组形式。此时可以使用函数工作流服务,对从数据库查询到的数据做进一步处理,如进行Base64编码等。 父主题: 华为云服务
\"sourceDatasourceType\":\"MYSQL\",\"taskType\":2,\"sourceDatasource\":\"mysql\",\"targetDatasourceType\":\"MYSQL\",\"mappingSourceTextOrNot
in this operation”错误 Mysql到Mysql时源端报“Illegal mix of collations for operation 'UNION'”错误 源端Mysql增量采集每小时执行一次时部分数据丢失 API到MySQL时源端报“401 unauthorized”错误
连接地址 仅当“连接模式”选择“默认”时需要配置。 填写数据库的连接IP地址和端口号。 数据库名 仅当“连接模式”选择“默认”时需要配置。 填写要接入的数据库名。 数据库地址列表 仅当“连接模式”选择“多地址”时需要配置。 填写分布式数据库系统的连接地址和端口号,单击“添加地址”添加多个地址和端口号。
填写DAMENG数据库的JDBC格式连接串,格式:jdbc: dm://host:port/dbname。 host为数据库的连接地址。 port为数据库的连接端口号。 dbname为要接入的DAMENG数据库名。 用户名 数据库的登录用户名。 密码 数据库的登录密码。 完成数
Mapping映射时会区分大小写,源端字段、目标端字段都必须和所选择的字段大小写一致。若不一致,MRS Hive和MRS HBase将会运行异常,MongoDB数据库不受影响,运行正常。 父主题: 数据集成普通任务
响应消息中“id”的值即为集成应用ID,保存并留待后续步骤使用。 接入数据源 调用“创建数据源”接口,接入需要开放数据的数据库,并获取返回的数据源ID。此处以MySQL数据库为例进行说明,其他类型数据库请参考接口的参数说明。 请求示例: POST /v2/{project_id}/fdi/instan
选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 连接地址 填写数据库的连接IP地址。 端口 填写数据库的端口。 目录 对应SFTP服务器文件目录地址 用户名 数据库的登录用户名。 密码 数据库的登录密码。 完成数据源接入配置后,单击“测试连接”,检测ABM与数据源之间是否能够连通。
查询分组列表 功能介绍 查询API分组列表。 如果是租户操作,则查询该租户下所有的分组;如果是管理员操作,则查询的是所有租户的分组。 URI GET /v1/{project_id}/apic/instances/{instance_id}/api-groups 表1 路径参数 参数
登录方式 选择连接数据库模式。 租户:即以华为云账户密码的方式进行连接。 ak/sk:即获取“访问密钥”进行连接。AK/SK是用户在云服务平台的长期身份凭证,您可以参考访问密钥获取AK/SK。 租户名称 仅当“登录方式”选择“租户”时需要配置。即华为云租户账号。 IAM用户名称
创建签名密钥 功能介绍 为了保护API的安全性,建议租户为API的访问提供一套保护机制,即租户开放的API,需要对请求来源进行认证,不符合认证的请求直接拒绝访问。其中,签名密钥就是API安全保护机制的一种。租户创建一个签名密钥,并将签名密钥与API进行绑定,则服务集成在请求这个A
设备上报的数据经规则引擎转发到消息集成的Topic上存储。 通过数据集成任务把Topic中的停车场数据实时写入停车场管理系统的数据库中,用于车位状态监测和停车计费,并可在IOC大屏上显示。 通过数据API把数据库中的车位状态数据开放给第三方应用,供车主、城市管理者了解停车场车位情况。 使用ROMA Conne
填写“Topic名称”中Topic所属集成应用的Secret。 数据接入服务 DIS 通道列表 选择数据要转发到的DIS通道。DIS通道是租户创建的逻辑单位,用以区分不同租户实时数据的集合,用户使用DIS发送或接收数据时,需要指定通道名称。 委托服务 选择一个委托任务。 委托服务是指用户在IAM处创建委托,授予ROMA
查询分组列表 功能介绍 查询API分组列表。 如果是租户操作,则查询该租户下所有的分组;如果是管理员操作,则查询的是所有租户的分组。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
登录方式 选择连接数据库模式。 租户:即以华为云账户密码的方式进行连接。 ak/sk:即获取“访问密钥”进行连接。AK/SK是用户在云服务平台的长期身份凭证,您可以参考访问密钥获取AK/SK。 租户名称 仅当“登录方式”选择“租户”时需要配置。即华为云租户账号。 IAM用户名称
登录方式 选择连接数据库模式。 租户:即以华为云账户密码的方式进行连接。 ak/sk:即获取“访问密钥”进行连接。AK/SK是用户在云服务平台的长期身份凭证,您可以参考访问密钥获取AK/SK。 租户名称 仅当“登录方式”选择“租户”时需要配置。即华为云租户账号。 IAM用户名称
配置实例访问公网 RCU实例网络出公网走租户VPC,网络的公网访问需要租户自行配置,RCU实例访问公网需要为租户VPC开通NAT网关。 操作步骤 查看RCU实例信息,查看实例的VPC和子网。 购买公网NAT网关,VPC和子网选择实例所在的VPC及子网,其他根据业务需求配置。 图1