检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/ELK/docker-compose.yml 其中,log目录用于挂载Logstash的数据目录,存储Logstash处理后的数据和元数据信息,即使容器Logstash被删除,日志数据也不会丢失,并且可以轻松的备份和恢复数据。 执行以下命令为log目录配置权限。 chmod 777 /ELK/logstash/log
conf文件中user和password的值,修改为与步骤4.c中设置的用户名密码一致。 vim /ELK/logstash/logstash.conf 执行以下命令修改kibana.yml文件中elasticsearch.username和elasticsearch.password的值,修改为与步骤4
参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层
Kafka数据源连接失败 原因分析 连接地址填写的是MQS内网地址,且MQS同时开启了SSL与VPC内网明文访问时,“是否SSL”选择了“是”。 解决方案 修改“是否SSL”为“否”。 如果排除以上问题后,仍然连接失败,可参考数据源连接测试失败排查操作进行问题排查。 父主题: 数据源
前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。
节点B可以采集节点C的模型数据,节点D可以采集节点A的模型数据,下面以节点B采集节点C的模型数据介绍操作步骤。 图1 集群管理级联流程示意图 前提条件 节点C已使用扩展采集器注册到节点D上。 操作步骤 登录ROMA Connect,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。
API到MySQL的定时任务时会出现源端报“connect timeout”错误 原因分析 数据面有6个节点,其中两个节点ping不通API的IP。 解决方案 属于网络问题,需要找VPC定位。 父主题: 数据集成任务
、kibana_image_id和python_image_id为4中查询到的对应组件的镜像ID。 把导出的镜像文件上传到服务器中。 把镜像文件filebeat_image.tar上传到SHUBAO组件所在节点,步骤1查询到的所有SHUBAO所在的节点都要上传。 把镜像文件logstash_image
解除客户端配额和客户端应用的绑定 功能介绍 解除客户端配额和客户端应用的绑定 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI DELETE /v2/{project_
API指标统计值查询-最近一段时间 功能介绍 根据API的ID和最近的一段时间查询API被调用的次数,统计周期为1分钟。查询范围一小时以内,一分钟一个样本,其样本值为一分钟内的累计值。 为了安全起见,在服务器上使用curl命令调用接口查询信息后,需要清理历史操作记录,包括但不限于“~/
MRS Hive、MRS HBase和MongoDB的Mapping映射手动输入时,是否区分大小写? Mapping映射时会区分大小写,源端字段、目标端字段都必须和所选择的字段大小写一致。若不一致,MRS Hive和MRS HBase将会运行异常,MongoDB数据库不受影响,运行正常。
FDI任务只能采集单张表到单张表吗? 用户创建的FDI任务,同一账号的其他用户可见吗? FDI通过公网对接其他租户的MRS HIVE如何配置? 从OBS解析文件到RDS数据库,采集过一次后,后面采集会进行更新吗? OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办? MRS Hive目标字段和源端字段数据类型不匹配时,数据是否能集成到目标端?
String 项目ID,获取方式请参见API参考的“附录 > 获取项目ID”章节。 最小长度:1 最大长度:64 instance_id 是 String 实例ID。 最小长度:1 最大长度:64 task_id 是 String 任务唯一标识,任务的ID。 最小长度:1 最大长度:64 请求参数
Hive数据源时,上传的配置文件中全部用的EIP,Hosts里面也配置好IP与Hostname,但是在上传文件时HDFS的Master节点返回的node节点的IP为内网IP,所以连接不通,导致FDI任务执行异常。 解决方案 修改在创建MRS Hive数据源时上传的hdfs-site.xml文件中,在hdfs-site
ROMA Site实例规格变更过程中,已有周期内的流量控制和客户端配额的计数器清零,最高会出现两倍的阈值,需要用户在规格变更前评估系统承载能力,可临时调整阈值为原来的一半。 ROMA Site实例规格变更过程中,可能出现自定义后端的连接闪断,或出现数据后端权限校验失败问题(错误信息为:Error
添加一个API,API即一个服务接口,具体的服务能力。API分为两部分,第一部分为面向API使用者的API接口,定义了使用者如何调用这个API。第二部分面向API提供者,由API提供者定义这个API的真实的后端情况,定义了ROMA Connect如何去访问真实的后端服务。API的真实后端服务目前支持的类型:传统
获取API的“请求协议”、“入参定义”和“请求体内容描述”。 获取API的认证信息 根据API使用的安全认证方式不同,还要获取相关的请求认证信息: 认证方式 认证信息 APP认证(签名认证) 向API提供方获取该API所授权集成应用的Key和Secret(或客户端的AppKey
异常数据存储信息 参数 配置说明 集成应用 选择OBS数据源所属的集成应用。 源端数据类型 当前仅支持选择“OBS”。 数据源名称 选择已配置的OBS数据源。 Path 填写异常数据要存储到OBS数据源的对象名。Path的值不能以斜杠(/)结尾。 配置完成后,若需要配置任务完成后执行
数据集成权限 表1 数据集成权限 权限 对应API接口 授权项(Action) 依赖的授权项 IAM项目 (Project) 企业项目 (Enterprise Project) 创建任务 POST /v2/{project_id}/fdi/instances/{instance_id}/tasks
Connect的能力计算单元。每个RCU可分配到不同的集成能力上,包括数据集成、服务集成、消息集成、设备集成、组合应用等。根据分配的RCU数量,各集成能力提供不同的性能规格,分配的RCU数量越多,集成能力的性能规格越高。 连接器 ROMA Connect支持常见的数据源类型,如关