检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
API到MySQL的定时任务时会出现源端报“connect timeout”错误 原因分析 数据面有6个节点,其中两个节点ping不通API的IP。 解决方案 属于网络问题,需要找VPC定位。 父主题: 数据集成任务
如图1所示,1号标记位置的"且或"逻辑表示外层逻辑组的关联关系,单击5号标记位置的“添加组”添加外层逻辑组。 2号标记位置的逻辑表示内层逻辑组的关联关系,单击4号标记位置的“添加关联关系”添加内层逻辑组。 3号标记位置的下拉框用于选择两个输入框的内容的逻辑判断,支持“等于”、“不等于”
/ELK/docker-compose.yml 其中,log目录用于挂载Logstash的数据目录,存储Logstash处理后的数据和元数据信息,即使容器Logstash被删除,日志数据也不会丢失,并且可以轻松的备份和恢复数据。 执行以下命令为log目录配置权限。 chmod 777 /ELK/logstash/log
conf文件中user和password的值,修改为与步骤4.c中设置的用户名密码一致。 vim /ELK/logstash/logstash.conf 执行以下命令修改kibana.yml文件中elasticsearch.username和elasticsearch.password的值,修改为与步骤4
件名称,方便您快速识别和查找。 插件类型 选择插件的类型,不同类型的插件提供不同扩展能力。 跨域资源共享:为API的跨域访问提供指定预检请求头和响应头、自动创建跨域预检请求API的能力。 Kafka日志推送:提供了把API的详细调用日志推送到Kafka的能力。 HTTP响应头管理
数据源页签会自动生成数据库表中的字段。 以下面的组合应用为例,该组合应用的主要功能是调用Open API获取OBS指定桶的对象列表,并将结果中的桶名称和对象名称通过数据映射,映射到MySql指定表中的相关字段,然后使用MySql添加记录的操作将桶名和对象名存储到MySql中。其中,对象存储服务
“变量修改”处理器用于修改前置“变量赋值”节点创建的变量的值。一个“变量修改”节点中可以更新多个变量。 配置参数 参数 说明 选择变量 选择前置“变量赋值”处理器中创建的变量。 变量值 填写修改后的变量值。变量值可以是一个常量,如“hello world”,也可以使用表达式引用前序步骤的变量,例如 ${a}、${payload}。
在组合应用的流任务编排中,以及连接器和处理器配置中涉及到大量的输入输出信息,还涉及到大量的配置信息需要填写。用户在编辑设计组合应用时,可以通过变量的方式快速引用流任务中的输入输出信息和配置信息,帮助用户便捷高效的设计组合应用。 组合应用中的变量可以分为系统变量、节点变量和自定义变量三种。同名变量的优先级为:系统变量
、kibana_image_id和python_image_id为4中查询到的对应组件的镜像ID。 把导出的镜像文件上传到服务器中。 把镜像文件filebeat_image.tar上传到SHUBAO组件所在节点,步骤1查询到的所有SHUBAO所在的节点都要上传。 把镜像文件logstash_image
后端参数位置为“HEADER”时,参数名不区分大小写。 以下表的参数和后端请求Path为例进行说明。test01和test03分别在API请求中的PATH和QUERY位置,通过参数映射,后端服务将在HEADER位置接收test01和test03的值。test02在API请求中的HEADER位置,通过参数映射,
调用API获取项目ID 项目ID可以通过调用IAM的查询指定条件下的项目信息API获取。 获取项目ID的接口为“GET https://{Endpoint}/v3/projects/”,其中{Endpoint}为IAM的终端节点,可以从地区和终端节点获取。接口的认证鉴权请参见认证鉴权。 响应示例
Hive数据源时,上传的配置文件中全部用的EIP,Hosts里面也配置好IP与Hostname,但是在上传文件时HDFS的Master节点返回的node节点的IP为内网IP,所以连接不通,导致FDI任务执行异常。 解决方案 修改在创建MRS Hive数据源时上传的hdfs-site.xml文件中,在hdfs-site
编排任务,通过可视化UI界面来创建任务,以降低不同经验背景用户的开发门槛。编排任务主要支持以下功能: 通过一个处理器节点实现一个数据源到N个目标端的采集,能够完成1:N场景的数据采集。 任务配置采用拖拽节点的方式实现参数配置,简化流程。 编排模式的数据转换模式分为映射模式和脚本模式。JavaScript脚本
Site实例资源要求申请新的虚拟机。 使用已创建过ROMA Site实例,且实例已删除的虚拟机重新创建ROMA Site实例。 由于操作系统、数据库软件等资源由客户准备,因此ROMA不负责此类资源的后期维护,强烈建议客户购买商业版的操作系统、数据库等软件,以免影响客户业务的正常运行。 首次创建ROMA
应消息头中X-Subject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 name 是 String 后端API名称。 支持汉字、英文、数字、中划线、下划线、点、斜杠、中英文格式下的小括号和冒号、中文格式下的顿号,且只能以英文、汉字和数字开头。 最小长度:3
超时时间(ms) 并行处理过程的最长执行时间,如果超过该时间后,仍有未执行完成的分支任务,则该分支的任务将被丢弃,且最终的合并结果中不会包含该分支。 超时时间为0时,表示不设置超时时间,将等待所有分支任务执行完成。 “并行处理”节点的分支名称,需在后续相邻节点的连线上配置。 父主题: 处理器
application ID and try again. 应用ID:{0}和规则:{1}所属的应用ID不一致,请检查规则名称和应用ID后重试 检查规则名称所属的应用ID和请求中的应用ID是否一致,若不一致则修改请求中的应用ID或规则名称。 500 ROMA.00111626 The application
MRS Hive、MRS HBase和MongoDB的Mapping映射手动输入时,是否区分大小写? Mapping映射时会区分大小写,源端字段、目标端字段都必须和所选择的字段大小写一致。若不一致,MRS Hive和MRS HBase将会运行异常,MongoDB数据库不受影响,运行正常。
中X-Subject-Token的值)。 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 name String 后端API名称。 支持汉字、英文、数字、中划线、下划线、点、斜杠、中英文格式下的小括号和冒号、中文格式下的顿号,且只能以英文、汉字和数字开头。
登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例信息界面。 在安全组栏单击安全组名称,如下图的“default”,页面跳转至安全组控制台。 选择“出方向规则”页签,查看创建数据源配置的IP是否在目的地址中。 如果目的地址为0.0.0.0/0则表