检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FDI任务只能采集单张表到单张表吗? 普通任务只能从源端的单个表采集到目标端单个表,组合任务可以配置多个表采集到多个表。 父主题: 数据集成普通任务
目标端任务报任务运行超时 原因分析 任务名称超过64个字符,且多个定时任务名称前64位都相同。 解决方案 修改任务名称长度及多个任务名称前64位相同的问题。 父主题: 数据集成任务
Project”对话框,选择“Go”,单击“Next”。 图2 New Project 单击“...”,在弹出的对话框中选择解压后的SDK路径,单击“Finish”。 图3 选择解压后的SDK路径 完成工程创建后,目录结构如下。 图4 新建工程的目录结构 “demo.go”为示例代码,请根据实际情况修改参数后使用。具体代码说明请参考调用API示例。
日志采集 “日志采集”处理器用于自定义日志信息,并显示在当前任务的运行日志中(日志级别为Debug)。 配置参数 参数 说明 日志信息 设置日志内容,可使用常量,也可通过变量的方式引用前序步骤中的数据,具体请参考引用变量。 父主题: 处理器
通过调用API获取产品的信息。 URI GET /v1/{project_id}/link/instances/{instance_id}/products 表1 参数说明 参数 类型 是否必填 说明 project_id string 是 租户每个区域对应的项目ID。 instance_id
获发生的异常并根据配置的参数进行重试和异常处理操作。 配置参数 参数 说明 错误类型 捕获异常类型。“运行异常”包含当前所有服务异常。 包含错误信息 捕获异常包含错误信息。只有当捕获的异常信息中包含指定错误信息时,会进行异常处理步骤。 重试次数 发生异常时对监控部分流程的最大重试次数。
timeout:读取超时时间,最大值为30000毫秒,建议timeout设置值小于前端API的“后端超时”时间值 maxItems:读取消息的最大数量 返回信息 Kafka已消费的消息数组,消息数组即将多条消息的内容组成一个数组 父主题: 自定义后端开发(函数后端)
username, String password) 访问MQS提供的kafka(开启sasl_ssl)。 输入参数 servers:kafkaConfig中的bootstrap.servers信息 groupId:kafkaConfig中的group.id信息 username:用户名 password:密码
输入参数 source:需要加密的内容 publicKey:公钥 config:加密选项,配置项可以为: transformation:指定加密的算法/模式/填充。例如:"RSA/ECB/OAEPPadding"。详见参数说明。 返回信息 加密后的数据内容的base64编码 public
n: {IP address}_{timestamp}”错误 原因分析 ROMA Connect实例未绑定弹性公网IP。 解决方案 购买新的弹性公网IP或使用已有的弹性公网IP与ROMA Connect实例绑定,绑定成功后再运行demo。 父主题: 设备集成
目标端MRS Hive和源端字段数据类型不匹配时,例如源端字段为datetime,目标端字段为date,数据可以集成到目标端,但是数据类型不匹配的字段值会为NULL,其他字段正常集成。 父主题: 数据集成普通任务
配合DataSourceClient使用,对数据源进行配置。 构造器详情 public DataSourceConfig() 构造一个无参数的DataSourceConfig public DataSourceConfig(String type, String url, String
project_id 是 String 项目ID,获取方式请参见API参考的“附录 > 获取项目ID”章节。 instance_id 是 String 实例ID app_auth_id 是 String 授权关系的编号 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述
outingKey模糊匹配的Queue中。 void produceWithFanoutExchange(String props, String message) 用fanout交换器生产消息,把所有发送到该Exchange的消息路由到所有与它绑定的Queue中。 方法详情 public
日志中没有错误信息,校验失败系统日志中会打印异常信息,并结束流任务的运行。 配置参数 参数 说明 XML 待校验的xml数据,文本输入大小限制10万字符。 XML Schemas Definition xsd格式的校验数据(同xml编写规则),命名空间“http://www.w3
getNoProxy() 获取不使用代理的地址列表 返回信息 返回不使用代理的地址列表 public String getParameter(String name) 获取指定名称的参数 输入参数 name:HTTP的名称 返回信息 返回指定名称的参数 public Set<String>
可能是以下两种原因导致: 数据源地址未配置为Endpoint地址。 AK/SK和桶名称不正确。 解决方案 修改地址为Endpoint地址。 填写正确的AK/SK和桶名称。 如果排除以上问题后,仍然连接失败,可参考数据源连接测试失败排查操作进行问题排查。 父主题: 数据源
返回信封前缀 public String getHeader(String name) 通过请求头名称获取对应的请求头值 输入参数 name:请求头名称 返回信息 请求头名称对应的请求头值 public Map<String,String> getHeaders() 获取请求头信息 返回信息
Kafka数据源连接失败 原因分析 连接地址填写的是MQS内网地址,且MQS同时开启了SSL与VPC内网明文访问时,“是否SSL”选择了“是”。 解决方案 修改“是否SSL”为“否”。 如果排除以上问题后,仍然连接失败,可参考数据源连接测试失败排查操作进行问题排查。 父主题: 数据源
构造器详情 public KafkaProducer(Map configs) 构造一个Kafka消息生产者 参数:configs表示Kafka的配置信息 方法列表 返回类型 方法和说明 org.apache.kafka.clients.producer.RecordMetadata produce(String