检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
不带参数返回默认时间戳,带参数返回指定格式的时间戳,例如,timestamp() = 1553572557420 timestampUtc() 获取系统Utc时间。如果不带参数,返回当前系统时间毫秒数,如果带1个参数,那么这个参数作为时间格式化的格式参数。 serviceId() 返回消息对应的serviceId,不支持填参数。
填写连接器实例名称。 区域 选择区域。 项目 选择项目。 实例 选择实例,用于后续验证连通性。 连接与安全 选择数据库的连接模式。当前支持“默认”模式,由系统根据用户配置自动拼接数据源连接字符串。 主机IP地址 填写数据库的连接IP地址。 端口 填写数据库的连接端口号。 数据库名 填写要连接的数据库名。
自定义数据源开发示例(实时任务) 操作场景 对于实时数据源,当前自定义连接器不支持直接接入,只能通过消息中转的方式进行接入。本章节以MQS数据源类型为例进行开发,示例使用Java语言进行开发,Demo代码参考RealtimeConnector.rar。 前提条件 准备装有1.8及以上版本JDK的Linux服务器。
Connect进行数据集成,有如下优势: 支持多种类型数据源 ROMA Connect支持接入关系型数据库、大数据存储、半结构化存储、消息系统等多种类型的数据源,具体支持的数据源类型请参见数据集成任务支持的数据源。 若ROMA Connect默认支持的数据源类型无法满足您的数据集
填写连接器实例名称。 区域 选择区域。 项目 选择项目。 实例 选择实例,用于后续验证连通性。 连接与安全 选择数据库的连接模式。 默认:由系统根据用户配置自动拼接数据源连接字符串。 专业:由用户自己输入数据源连接字符串。 主机IP地址 仅当“连接与安全”选择“默认”时需要配置。 填写数据库的连接IP地址。
选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 是否使用JDBC字符串 选择连接数据库模式。 否:由系统根据用户配置自动拼接数据源连接字符串。 是:由用户自己输入数据源连接字符串。 连接地址 仅当“是否使用JDBC字符串”选择“否”时需要配置。
项目 选择项目。 实例 选择实例,用于后续验证连通性。 连接与安全 选择数据库的连接模式。当前支持“默认”模式,由系统根据用户配置自动拼接数据源连接字符串。 默认:由系统根据用户配置自动拼接数据源连接字符串。 专业:由用户自己输入数据源连接字符串。 主机IP地址 仅当“连接与安全”选择“默认”时需要配置。
Connect的消息集成组件。MQS支持Kafka协议,使用统一的消息接入机制,为企业提供跨网络访问的安全、标准化消息通道。 例如企业与合作伙伴使用的消息系统不一样,消息系统对接成本较高,而且难以保证对接之后消息传输的可靠性和安全性。企业之间可以协定使用Kafka通信协议,那么MQS可以作为消息中转站,
填写连接器实例名称。 区域 选择区域。 项目 选择项目。 实例 选择实例,用于后续验证连通性。 连接与安全 选择数据库的连接模式。 默认:由系统根据用户配置自动拼接数据源连接字符串。 专业:由用户自己输入数据源连接字符串。 主机IP地址 仅当“连接与安全”选择“默认”时需要配置。 填写数据库的连接IP地址。
SASL或SSL认证所使用的用户密码。 证书内容 仅当“安全协议”选择“SASL_SSL”时需配置。 SSL认证所使用的CA证书内容。 元数据配置信息 系统元数据 推送的日志中,需要携带的系统字段信息。 其中,start_time、request_id、client_ip、request_time、http_s
部署Filebeat和ELK 部署Filebeat 登录SHUBAO组件所在节点,切换root用户。 执行以下命令对filebeat.yml文件进行授权。 cd /filebeat sudo chown root filebeat.yml 执行以下命令启动Filebeat。 docker-compose
中再次被获取。 消息生产与消费的幂等传递 ROMA Connect设计了一系列可靠性保障措施,确保消息不丢失。例如使用消息同步存储机制防止系统与服务器层面的异常重启或者掉电,使用消息确认(ACK)机制解决消息传输过程中遇到的异常。 考虑到网络异常等极端情况,用户除了做好消息生产与消费的确认,还需要配合ROMA
建组合应用,系统会自动抓取MySQL数据库中的最新数据记录,并将其无缝对接到Oracle数据库中,实现两个数据库之间的高效、准确的数据更新与同步。 该方案不仅能够减少人工操作带来的错误和遗漏,Oracle数据库中的数据都能反映出MySQL数据库的最新状态,满足业务系统的数据需求和数据分析的一致性要求。
”,选择“规格变更”。 确认变更规格后单击“规格升级”。 当前仅支持从3VM的基础版规格变更为4VM的专业版规格。 再次单击“规格升级”,系统将自动创建边缘节点。 边缘节点创建完成后,单击“下载边缘节点配置文件”下载包含边缘节点密钥等信息的配置文件。 备份下载的边缘节点配置文件中的“node
华为云用户可以免费申请使用体验版实例,申请后工作人员会在一个工作日内完成审批。体验版实例的配额存在限制,并且任务会在30天后被自动清理。 体验版实例作为系统实例,仅提供使用能力,不支持删除和修改配置信息。当前体验版实例仅展示在工作台的实例页签中,使用时,体验版实例和其他用户实例一样,都可以在实例列表中选择。
行一次的任务。 开始时间前置(天) 仅当“周期设置”选择“系统默认”时需要配置。 配置数据采集开始时间的前置。 若源端生成的数据为实时变化的,如告警数据等,可通过前置时间进行采集处理。 数据采集的开始时间 = 数据源系统时间 - 时间前置值 粒度单位 仅当“周期设置”选择“自定义”时需要配置。
在添加AppCode弹窗中配置AppCode,完成后单击“确定”。 表2 AppCode配置 参数 配置说明 生成方式 选择AppCode的生成方式。 自动生成:由系统随机生成AppCode。 手动输入:自定义AppCode。 AppCode 填写AppCode的值。 父主题: 开放API
Connect权限,并结合实际需求进行选择,ROMA Connect支持的系统权限,请参见ROMA Connect系统权限。若您需要对除ROMA Connect之外的其它服务授权,IAM支持服务的所有权限请参见系统权限。 新增用户组并授权 创建用户组并授权 在IAM控制台创建用户组,并授予ROMA
输入json格式的Query和Headers,填入Body。 单击“Send request”,生成curl命令。将curl命令复制到命令行,访问API。 //若使用系统分配的子域名访问https请求的API时,需要忽略证书校验,在-d后添加“ -k” $ curl -X POST "https://c96
通过提供多种场景的ROMA Connect使用样例,方便您快速了解如何使用ROMA Connect完成应用和数据集成。 传统停车场管理系统数字化改造 企业数据以API形式开放共享 跨系统业务数据集成和转换 搭建企业业务开放中台 常见问题 了解更多常见问题、案例和解决方案 热门案例 数据源连接测试失败排查操作