检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图4 设置OBS参数 选择“直播”,输入直播推流URL,如图5所示。 推流地址分两部分输入“服务器”和“推流码”中。直播推流URL规则请参见查看推流URL。 “服务器”填写包含直播推流URL中AppName前的地址。
_hybrid) type 否 String 脚本类型 SQL:SQL语句 SP:存储过程 object_name 是 String 返回对象。 最小长度:1 最大长度:32 content 是 String API脚本内容 请对脚本进行base64编码 最小长度:1 最大长度:100000
OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办? 任务配置时源端OBS的元数据填写顺序必须与CSV文件中列的顺序一致,需修改任务配置,按照文件中列的顺序填写元数据。 父主题: 数据集成普通任务
函数后端脚本开发说明 开发说明 函数后端通过编写函数脚本实现将多个服务封装成一个服务,在实际开发前请务必提前了解自定义后端开发要求。 函数后端当前仅支持使用JavaScript编写函数,JavaScript引擎运行于Java虚拟机,可调用ROMA Connect提供的Java类实现具体功能。
opengauss数据源类型(tag:hcs) type 否 String 脚本类型 SQL:sql语句 SP:存储过程 object_name 是 String 返回对象。 最小长度:1 最大长度:32 content 是 String API脚本内容 请对脚本进行base64编码 最小长度:1 最大长度:100000
接入OBS数据源 概述 ROMA Connect支持把OBS(对象存储服务)作为一个数据源,并用于数据集成任务。在使用OBS数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。 操作步骤
训练作业如何调用shell脚本,是否可以执行.sh文件? ModelArts支持调用shell脚本,可以使用python调用“.sh”。具体操作步骤如下: 上传“.sh”脚本至OBS桶,例如“.sh”所在存储位置为 “ /bucket-name/code/test.sh”。
脚本处理 “脚本处理”组件用于处理数据。用户可使用指定的编程语言编写脚本,对传入“脚本处理”组件的数据进行处理,生成新的数据供后续步骤使用。 配置参数 参数 说明 语言 选择编写脚本使用的编程语言,当前只支持ES5版本的JavaScript语言。 内容 编写脚本内容。 可通过变量
OBS的策略的详细配置方法请参见配置对象策略和桶策略参数说明。 在CCE创建节点池时配置安装前执行脚本和安装后执行脚本。 在创建节点池的云服务器高级配置中填写如下命令。
OBS数据源测试连接失败 原因分析 可能是以下两种原因导致: 数据源地址未配置为Endpoint地址。 AK/SK和桶名称不正确。 解决方案 修改地址为Endpoint地址。 填写正确的AK/SK和桶名称。 如果排除以上问题后,仍然连接失败,可参考数据源连接测试失败排查操作进行问题排查。
在ECS上调试好的shell脚本,在DLF中shell脚本执行异常,如何处理? 问题描述 在ECS上调试好的shell脚本,在DLF中shell脚本执行异常。 脚本内容是通过gsql连接dws查询某库表数据行数的。
从OBS解析文件到RDS数据库,采集过一次后,后面采集会进行更新吗? 如果是采集同一个文件,每次在OBS上更新文件,目标端数据库有主键情况下,每次会根据主键更新数据。 如果是采集多个文件,目标端数据库有主键且主键相同的情况下,每次都会更新成时间最早的文件里的值,即数据内容没有变化
脚本是内聚的,相当于生产积木的,并且脚本可以对这个积木实现批量化处理的复杂场景。 服务编排是图形化,组合编排业务,相当于使用积木编排业务的流程(建议不超过20个图元)。 参见使用SQL查询数据操作一条SQL查询语句,可以看出脚本更直观代码化,服务编排更流程图形化。
能够完成1:N场景的数据采集。 任务配置采用拖拽节点的方式实现参数配置,简化流程。 编排模式的数据转换模式分为映射模式和脚本模式。JavaScript脚本能够实现从源端读取数据后先进行处理再写入目标端。 前提条件 ROMA Connect已接入源端和目标端数据源,具体请参考接入数据源。
是 String 脚本语句,格式为经base64编码的字符串,实际脚本需经过base64解码后获取。 result 是 String 返回对象,执行语句的执行结果将封装在该对象中返回。 该参数仅对数据后端生效,函数后端不使用。 type 是 String 脚本类型,支持“function”、“SQL”和“SP”。
向DWS写入数据时越来越慢怎么解决 原因分析 查看界面上的采集数据,如果写入数据耗时在秒级,属于正常的情况。如果写入几千条数据超过5秒,一般是性能劣化的表现。 解决方案 如果对DWS的某个表频繁访问,会导致写入性能逐渐降低,需要对DWS进行调优,例如,定时使用analyze规划表、VACUUM
对象存储服务 对象存储服务连接器用于对接华为云对象存储服务。 对象存储服务(Object Storage Service,简称OBS)是一个基于对象的海量存储服务,为您提供海量、安全、高可靠、低成本的数据存储能力。 创建对象存储服务连接 登录新版ROMA Connect控制台。
标端数据字段的映射关系。 脚本模式:通过JavaScript脚本实现从源端读取数据后先进行处理再写入目标端,脚本样例参见脚本映射样例。 OBS 返回页首 任务的“集成模式”为“定时”时,可以选择OBS作为目标端数据源,具体配置如下。 表9 目标端OBS信息 参数 配置说明 对象类型
K代码示例调试功能。 URI GET /v2/{project_id}/instances/{instance_id}/assets/jobs/{job_id} 表1 路径参数 参数 是否必选 参数类型 描述 instance_id 是 String 实例ID。 project_id
对于非简单请求,在正式通信之前,浏览器会增加一次HTTP查询请求,称为预检请求。浏览器查询服务器,当前页面所在的源是否在服务器的许可名单之中,以及可以使用哪些HTTP请求方法和头信息字段。预检通过后,浏览器向服务器发送简单请求。 ROMA Connect默认不支持跨域访问,如果您需要支持跨域
对于非简单请求,在正式通信之前,浏览器会增加一次HTTP查询请求,称为预检请求。浏览器查询服务器,当前页面所在的源是否在服务器的许可名单之中,以及可以使用哪些HTTP请求方法和头信息字段。预检通过后,浏览器向服务器发送简单请求。 ROMA Connect默认不支持跨域访问,如果您需要支持跨域
以上组件中,FDI、APIC、MQS、LINK为必选组件,ABM、BFS为增强版可选组件。 检查与IEF、SWR、OBS和AOM四个服务通信。如果您的虚拟机节点所在环境配置了网闸或网络限制,可以根据如何获取IEF云端服务IP地址获取IP地址进行配置。 离线版软件获取与安装方法 获取软件RPM离线安装包需要找
选择策略所属的集成应用。若没有可用的集成应用,可单击右侧的“新建集成应用”,创建一个集成应用。 描述 填写策略的描述信息。 策略内容:支持表单模式和脚本模式两种方式,脚本模式配置请参见脚本配置示例。 Allowed Origins Access-Control-Allow-Origin响应头,指定允许访问A
用户创建的FDI任务,同一账号的其他用户可见吗? FDI通过公网对接其他租户的MRS HIVE如何配置? 从OBS解析文件到RDS数据库,采集过一次后,后面采集会进行更新吗? OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办? MRS Hive目标字段和源端字段数据类型不匹配时,数据是否能集成到目标端?
待提取图片暗水印的图片地址,当前只支持OBS对象,格式为 obs://bucket/object ,其中bucket为和当前项目处于同一区域的OBS桶名称,object为对象全路径名。例如:obs://hwbucket/hwinfo/hw.png,其中obs://表示OBS存储,hwbucket为桶名,hwinfo/hw