检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive目标端写入时出现数据乱码 原因分析 创建任务时,目标端存储类型选择与建表时类型不一致。 比如建表时存储类型为text(文本文件),而创建任务时目标端存储类型选择了RCFile格式。 解决方案 修改界面选择的存储类型与建表时一致即可。 父主题: 数据集成任务
函数工作流服务具有强大的数据处理能力,可应用于多种场景。其中一个使用场景为,当使用“数据源类型组件”从数据库(如MySQL)中查询数据时,对于BLOB等类型的数据(如图片),最终查询到的结果为byte数组形式。此时可以使用函数工作流服务,对从数据库查询到的数据做进一步处理,如进行Base64编码等。
选择BIGDATA/DB/FILE/AKSK,一般选择DB 适配器类型 若数据源分组选择BIGDATA,即可选HIVE/FIHIVE;若数据源分组选择DB,即可选MYSQL/GAUSSDB/GAUSSDB_T/ORACLE/SQLSERVER/POSTGRESQL/DAMENG;若数据源组选择FILE,即
huawei.livedata.lambdaservice.config.RomaWebConfig 说明 获取roma配置。 方法列表 返回类型 方法和说明 static String getAppConfig(String key) 根据config key获取集成应用的配置 方法详情
请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 size Integer
是否必选 参数类型 描述 extend 否 Object 连接器所属的扩展参数,其值为各个扩展参数组成的Json体。 表8 Meta-data说明 参数 是否必选 参数类型 描述 name 是 String 数据字段名称。 type 是 String 字段值类型。支持的类型有:Str
2:已经成功上报CES 预留字段,暂不支持 状态码: 400 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码 error_msg String 错误描述 状态码: 401 表7 响应Body参数 参数 参数类型 描述 error_code
String 目标端数据库模式,gauss100数据库使用。 batchNumber 否 String 批次号字段。 选择目标端表中一个字段作为批次号字段,该字段将保存一个随机数,用于标识这一批次的数据。 目标端表中类型为string并且字段长度大于14的字段可以作为批次号字段,且该批次号
接入DM数据源 接入Gauss100数据源 接入HANA数据源 接入HIVE数据源 接入MongoDB数据源 接入MySQL数据源 接入Oracle数据源 接入PostgreSQL数据源 接入Redis数据源 接入SQL Server数据源 父主题: 开放数据API
product_name =product01 响应消息 响应参数 响应参数为数组元素。 表2 响应参数 名称 类型 描述 数组元素 Array<topic> Topic列表信息。 表3 topic 名称 类型 描述 remark string 描述信息,不能超过200个字符。 topic_id
mongodb:mongodb数据源类型 redis:redis数据源类型 postgresql:postgresql/opengauss数据源类型 hive:hive数据源类型 mssql:sqlserver数据源类型 sqlserver:sqlserver数据源类型 dws:dws数据源类型 gauss100:gauss100数据源类型
\"sourceDatasourceType\":\"MYSQL\",\"taskType\":2,\"sourceDatasource\":\"mysql\",\"targetDatasourceType\":\"MYSQL\",\"mappingSourceTextOrNot
否 List<Column> 源端选择的字段名列表,关系型数据库使用。 order_column 否 String 源端排序的字段名,可为空,关系型数据库使用。 order_type 否 String 源端排序类型,可为空,关系型数据库使用。 - ASC (升序) - DESC
源表中此字段可为null,但创建目标表时设置此字段为非null属性,需修改字段属性保持一致。 用户配置任务时多了一个表映射,将一个相似名称的源表配置采集数据到此目标表,导致向此字段写入空数据,需确保表映射正确。 Oracle产生的RedoLog中,UPDATE语句的字段中没有WH
用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息,用于识别不同的连接器。 支持的动作 获取数据库变更 实时获取数据库变更 ,需要在数据库中启动CDC配置。 配置参数 表1 获取数据库变更 参数 说明 表名 要获取数据变更的数据表名。 数据库操作 选择数据库变更的操作。
填写DAMENG数据库的JDBC格式连接串,格式:jdbc: dm://host:port/dbname。 host为数据库的连接地址。 port为数据库的连接端口号。 dbname为要接入的DAMENG数据库名。 用户名 数据库的登录用户名。 密码 数据库的登录密码。 完成数
config = new DataSourceConfig() config.setType("mysql") config.setUrl("jdbc:mysql://127.0.0.1:3306/db?allowPublicKeyRetrieval=true")
mongodb:mongodb数据源类型 redis:redis数据源类型 postgresql:postgresql/opengauss数据源类型 hive:hive数据源类型 mssql:sqlserver数据源类型 sqlserver:sqlserver数据源类型 dws:dws数据源类型 gauss100:gauss100数据源类型
Hive、MRS HBase和MongoDB的Mapping映射手动输入时,是否区分大小写? Mapping映射时会区分大小写,源端字段、目标端字段都必须和所选择的字段大小写一致。若不一致,MRS Hive和MRS HBase将会运行异常,MongoDB数据库不受影响,运行正常。 父主题:
接入PostgreSQL数据源 概述 ROMA Connect支持把PostgreSQL、开源openGauss数据库作为一个数据源,并用于数据集成任务或用于创建数据API。在使用该数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前