检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择对应的数据湖分层：业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 上传文件 单击“上传文件”，上传本地文件配置文件。 支持文件类型为：.yaml,.json, 文件个数最大值为：20, 单个文件大小的最大值为：20MB, 完成数据源接入配置后，单击“测试连接”，检测ABM与数据源之间是否能够连通。
OBS源端的CSV文件解析到关系型数据库时，列的值不对怎么办？ 任务配置时源端OBS的元数据填写顺序必须与CSV文件中列的顺序一致，需修改任务配置，按照文件中列的顺序填写元数据。 父主题： 数据集成普通任务
因为从OBS获取多个文件默认按照时间降序排序，先解析最晚上传的文件，所以最早上传的文件最后解析，这样就会导致任务执行结束后，数据库中的值还是最早上传的文件中的值。 父主题： 数据集成普通任务
xml”、“hdfs-site.xml”文件。 生成MRS Hive配置文件。 将上述获取到的文件放到一个新的目录下，并打包成zip文件，所有文件位于zip文件的根目录下。 文件名只能由英文字母或数字组成，长度不超过255个字符。 文件大小不超过2MB。 父主题： 获取数据源配置文件
部署Filebeat和ELK 部署Filebeat 登录SHUBAO组件所在节点，切换root用户。 执行以下命令对filebeat.yml文件进行授权。 cd /filebeat sudo chown root filebeat.yml 执行以下命令启动Filebeat。 docker-compose
Filebeat目录和文件结构如下所示： |_ filebeat |_ log |_ docker-compose.yml |_ filebeat.yml 登录SHUBAO组件所在节点，切换root用户，执行以下命令创建Filebeat相关目录和配置文件。 用户可自定义配置文件所在路
Hive数据源时，上传的配置文件中全部用的EIP，Hosts里面也配置好IP与Hostname，但是在上传文件时HDFS的Master节点返回的node节点的IP为内网IP，所以连接不通，导致FDI任务执行异常。 解决方案 修改在创建MRS Hive数据源时上传的hdfs-site
获取数据源配置文件 MRS Hive MRS HDFS MRS HBase MRS Kafka 父主题： 附录
Kafka 获取MRS Kafka配置文件方法如下： 获取“krb5.conf”和“user.keytab”文件。 参考下载用户认证文件，在MRS Manager下载用户认证文件，解压后得到“krb5.conf”和 “user.keytab”文件。 获取“fikafka-producer
xml”、“hdfs-site.xml”文件。 生成MRS HBase配置文件。 将上述获取到的文件放到一个新的目录下，并打包成zip文件，所有文件位于zip文件的根目录下。 文件名只能由英文字母或数字组成，长度不超过255个字符。 文件大小不超过2MB。 父主题： 获取数据源配置文件
用户创建的FDI任务，同一账号的其他用户可见吗？ FDI任务是做的用户隔离，如果没有授权，同一账号的其他用户看不到，用户要看到其他用户的任务需要通过集成应用授权。 父主题： 数据集成普通任务
xml”、“hdfs-site.xml”文件。 生成MRS HDFS配置文件。 将上述获取到的文件放到一个新的目录下，并打包成zip文件，所有文件位于zip文件的根目录下。 文件名只能由英文字母或数字组成，长度不超过255个字符。 文件大小不超过2MB。 父主题： 获取数据源配置文件
建议由数据库管理员进行CDC功能的配置操作，以下配置以Linux环境为例进行说明。 开启Binlog。 使用命令行工具连接到MySQL数据库所在服务器，执行以下命令以root用户登录数据库。 mysql -uroot -ppassword 其中，password为数据库root用户的密码，可向数据库管理员获取。
是 String 用户Token。通过调用IAM服务获取用户Token接口获取（响应消息头中X-Subject-Token的值）。 表3 请求Body参数 参数 是否必选 参数类型 描述 users 否 Array of User objects 要添加的用户成员列表，空列表时代表清空应用的所有成员。
ge_id为4中查询到的对应组件的镜像ID。 把导出的镜像文件上传到服务器中。 把镜像文件filebeat_image.tar上传到SHUBAO组件所在节点，步骤1查询到的所有SHUBAO所在的节点都要上传。 把镜像文件logstash_image.tar、elasticsearch_image
据源需要通过导入文件或者手动增加的形式来添加字段。导入的文件目前主要支持json，xml和csv格式导入。 目的端数据源 设置目的端数据源，数据库类型的数据源在选择完表之后会自动显示字段信息，其他格式的数据源需要通过导入文件或者手动增加的形式来添加字段。导入的文件目前主要支持json，xml和csv格式导入。
端口用于传输控制信息（命令）。 用户名 FTP用户名。 密码 FTP用户密码。 描述 填写连接器的描述信息，用于识别不同的连接器。 支持的动作 写入文件 配置参数 参数 说明 目录路径 填写FTP服务器下文件的相对路径。 文件名 填写需要写入的文件名。 写入内容 填写需要写入的内容。
FTP连接器是基于FTP/SFTP协议实现文件传输的通道，通过FTP连接器可与外部FTP服务器进行文件交换。 FTP（File Transfer Protocol，文件传输协议）是TCP/IP 协议组中的协议之一。FTP协议包括两个组成部分：FTP服务器和FTP客户端。其中FTP服务器用来存储文件，用户可以使用F
查询候选用户成员 功能介绍 查询应用的候选用户成员列表，会过滤掉异常状态用户。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{project_id
String 应用ID。 users Array of users objects 用户成员列表。 表5 users 参数 参数类型 描述 id String 用户ID。 name String 用户名称。 roles Array of strings 应用权限角色。 read：应
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
