检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
因为从OBS获取多个文件默认按照时间降序排序,先解析最晚上传的文件,所以最早上传的文件最后解析,这样就会导致任务执行结束后,数据库中的值还是最早上传的文件中的值。 父主题: 数据集成普通任务
扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 上传文件 单击“上传文件”,上传本地文件配置文件。 支持文件类型为:.yaml,.json, 文件个数最大值为:20
获取数据源配置文件 MRS Hive MRS HDFS MRS HBase MRS Kafka 父主题: 附录
OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办? 任务配置时源端OBS的元数据填写顺序必须与CSV文件中列的顺序一致,需修改任务配置,按照文件中列的顺序填写元数据。 父主题: 数据集成普通任务
xml”、“hdfs-site.xml”文件。 生成MRS HDFS配置文件。 将上述获取到的文件放到一个新的目录下,并打包成zip文件,所有文件位于zip文件的根目录下。 文件名只能由英文字母或数字组成,长度不超过255个字符。 文件大小不超过2MB。 父主题: 获取数据源配置文件
message_offset 否 Integer 重置消费进度到指定偏移量。 如果传入offset小于当前最小的offset,则重置到最小的offset。 如果大于最大的offset,则重置到最大的offset。 message_offset、timestamp二者必选其一。 timestamp
选择区域时,您需要考虑以下几个因素: 地理位置 一般情况下,建议就近选择靠近您或者您的目标用户的区域,这样可以减少网络时延,提高访问速度。不过,在基础设施、BGP网络品质、资源的操作与配置等方面,中国大陆各个区域间区别不大,如果您或者您的目标用户在中国大陆,可以不用考虑不同区域造成的网络时延问题。 在除
义后端的Swagger扩展定义。 导入自定义后端前,请确保自定义后端的配额满足需求。 导入自定义后端时,导入的API定义文件大小最大为3MB。 导出自定义后端时,导出的API定义文件大小最大为50MB。如果导出的API定义文件超过50MB,则多出来的自定义后端将不导出。 导入自定义后端
义后端的Swagger扩展定义。 导入自定义后端前,请确保自定义后端的配额满足需求。 导入自定义后端时,导入的API定义文件大小最大为3MB。 导出自定义后端时,导出的API定义文件大小最大为50MB。如果导出的API定义文件超过50MB,则多出来的自定义后端将不导出。 导入自定义后端
properties”文件。 将“fikafka-producer.properties”中bootstrap.servers的值拷贝到fikafka-consumer.properties”文件中。 生成MRS Kafka配置文件。 将上述获取到的文件放到一个新的目录下,并打包成z
不勾选:使用系统已有扩展信息,不使用导入文件中的扩展信息。 导入参数 选择并检查导入文件。 单击“文件”,选择本地要导入的YAML或JSON格式API定义文件。 导入文件后,单击“检查”,可检查导入文件的内容格式是否符合规范要求。 单击“格式化”,可对导入文件的内容进行格式化。 单击“下载”,可把导入的文件内容下载到本地。
导入参数 检查导入的文件内容。 单击“检查”,可检查导入文件的内容格式是否符合规范要求。 单击“格式化”,可对导入文件的内容进行格式化。 单击“下载”,可把导入的文件内容下载到本地。 是否启用Mock后端,表示是否使用Mock服务作为导入API的后端服务。 单击“立即导入”。 如果
xml”、“hdfs-site.xml”文件。 生成MRS HBase配置文件。 将上述获取到的文件放到一个新的目录下,并打包成zip文件,所有文件位于zip文件的根目录下。 文件名只能由英文字母或数字组成,长度不超过255个字符。 文件大小不超过2MB。 父主题: 获取数据源配置文件
P服务器上的资源。 SFTP(SSH File Transfer Protocol,安全文件传输协议)是FTP的安全版本,也是SSH协议的一部分,可通过安全SHELL数据流轻松进行数据传输和数据访问。SFTP也被称为SSH文件传输协议,它提供了一个安全的连接来传输文件,并在本地和远程系统上遍历文件系统。
填写连接器的描述信息,用于识别不同的连接器。 支持的动作 写入文件 配置参数 参数 说明 目录路径 填写FTP服务器下文件的相对路径。 文件名 填写需要写入的文件名。 写入内容 填写需要写入的内容。 写入策略 选择需要写入的策略 覆写:覆盖同名文件内容; 追加:在同名文件末尾追加内容;
xml”、“hdfs-site.xml”文件。 生成MRS Hive配置文件。 将上述获取到的文件放到一个新的目录下,并打包成zip文件,所有文件位于zip文件的根目录下。 文件名只能由英文字母或数字组成,长度不超过255个字符。 文件大小不超过2MB。 父主题: 获取数据源配置文件
server-id的值应为大于1的整数,请根据实际规划设置,并且在创建数据集成任务时设置的“Server Id”值需要此处设置的值不同。 expire_logs_days为Binlog日志文件保留时间,超过保留时间的Binlog日志会被自动删除,应保留至少2天的日志文件。 “gtid_mode
若匹配到参数流控策略,则执行策略内配置的流控。 若未匹配到参数流控策略,则执行上方配置的基础流控。 定义参数 定义用于规则匹配的参数。单击“添加参数”,添加用于匹配规则的参数。 参数位置:参数在API请求中的位置。 path:API请求的URI,已默认配置。 method:API请求方法,已默认配置。
量删除指定桶的对象、上传对象 对象名 请输入对象名称,例如123.png。当前仅支持下载txt,csv,png,jpg和jpeg格式的文件。obs中没有文件系统中的文件和文件夹概念,对象名称中的“/”是用来模拟文件系统中的文件夹概念的,“test/123.jpg”的对象名称(Key)仍然是“test/123
产数据,可将备份的资产文件再导入实例进行资产恢复。 建议定期导出资产文件进行数据备份(如按月导出资产文件),以供数据恢复使用。 资产迁移:把其他ROMA Connect实例导出的集成资产文件导入新建的实例,实现集成资产的快速部署和使用。 ROMA Connect的资产导入功能仅支