检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
解析响应消息体中的流 导出作业和导出连接的接口响应消息是一个流,需要转化为一个文件。 您可以参考下面的样例代码: String EXPORT_JOB_URL = "https://{endpoint}/v1/{project_id}/jobs/{job_name}/export";
添加时区信息“+0800”到原始日期字符串的尾部,对应的表达式为:value+" +0800"。 使用原始日期格式来解析字符串,将字符串解析为一个日期对象。可以使用DateUtils.parseDate函数来解析,语法是:DateUtils.parseDate(String value, String format)。
Oracle数据源如何开通归档日志、查询权限和日志解析权限? 问题描述 Oracle数据源默认权限无法正常执行实时处理集成作业。 原因分析 Oracle库需要开启归档日志,归档日志建议至少保留三天。 Oracle表没有表查询权限和日志解析权限。 解决方案 开启归档日志。 以sysdba身份登录Oracle数据库。
时间宏变量使用解析 在创建表/文件迁移作业时,CDM支持在源端和目的端的以下参数中配置时间宏变量: 源端的源目录或文件 源端的表名 “通配符”过滤类型中的目录过滤器和文件过滤器 “时间过滤”中的起始时间和终止时间 分区过滤条件和Where子句 目的端的写入目录 目的端的表名 支持
时间宏变量使用解析 在创建表/文件迁移作业时,CDM支持在源端和目的端的以下参数中配置时间宏变量: 源端的源目录或文件 源端的表名 “通配符”过滤类型中的目录过滤器和文件过滤器 “时间过滤”中的起始时间和终止时间 分区过滤条件和Where子句 目的端的写入目录 目的端的表名 支持
自动血缘解析 自动血缘解析无需进行手动配置,当数据开发作业中包含如表1所示节点及场景时,系统支持自动解析血缘关系。 解析SQL节点的血缘时,支持多SQL解析及列级血缘解析,单条SQL语句不支持SQL中含有分号的场景。 表1 支持自动血缘解析的作业节点及场景 作业节点 支持场景 DLI SQL
从网络读取一个IP与物理地址映射文件,并存放到Map集合,这里的URL是IP与地址映射文件存放地址,例如“http://10.114.205.45:21203/sqoop/IpList.csv”。 表达式:HttpsUtils.downloadMap("url") 将IP与地址映射对象缓存起
从网络读取一个IP与物理地址映射文件,并存放到Map集合,这里的URL是IP与地址映射文件存放地址,例如“http://10.114.205.45:21203/sqoop/IpList.csv”。 表达式:HttpsUtils.downloadMap("url") 将IP与地址映射对象缓存起
从网络读取一个IP与物理地址映射文件,并存放到Map集合,这里的URL是IP与地址映射文件存放地址,例如“http://10.114.205.45:21203/sqoop/IpList.csv”。 表达式:HttpsUtils.downloadMap("url") 将IP与地址映射对象缓存起
绑定公网域名:公网域名是在Internet中使用公网解析的域名。绑定公网域名,可以将公网域名与外网地址相关联,然后在Internet中通过公网域名进行API调用。在集群页面单击“更多 > 绑定公网域名”,输入已完成域名注册、ICP备案的域名,数据服务调用DNS服务将公网域名与外网地址相关联。注意,绑定公网域
自动血缘解析 自动血缘解析无需进行手动配置,当数据开发作业中包含如表1所示节点及场景时,系统支持自动解析血缘关系。 解析SQL节点的血缘时,支持多SQL解析及列级血缘解析,单条SQL语句不支持SQL中含有分号的场景。 表1 支持自动血缘解析的作业节点及场景 作业节点 支持场景 DLI SQL
配置用户数据消费程序的唯一标识符,不存在时会自动创建。 cdm 数据格式 解析数据时使用的格式: 二进制格式:适用于文件迁移场景,不解析数据内容原样传输。 CSV格式:以CSV格式解析源数据。 JSON格式:以JSON格式解析源数据。 二进制格式 字段分隔符 数据格式为“CSV格式”时呈现
查看工作空间数据地图 查看工作空间内的数据资产 查看资产总览 查看数据资产 管理资产标签 父主题: 数据目录
在数据开发控制台,单击左侧导航栏中的作业开发按钮,进入作业开发页面后,打开已完成血缘配置的作业。 在数据开发中,当作业进行“执行调度”时,系统开始解析血缘关系。 测试运行不会解析血缘。 图1 作业调度 待调度作业成功运行完成后,等待约1分钟左右,数据血缘关系即可生成成功。 查看数据血缘关系 在DataArts
从网络读取一个IP与物理地址映射文件,并存放到Map集合,这里的URL是IP与地址映射文件存放地址,例如“http://10.114.205.45:21203/sqoop/IpList.csv”。 表达式:HttpsUtils.downloadMap("url") 将IP与地址映射对象缓存起
本教程主要介绍如何获取Rest Client的返回值,包含以下两个使用场景举例。 通过“响应消息体解析为传递参数定义”获取返回值 通过EL表达式获取返回值 通过“响应消息体解析为传递参数定义”获取返回值 如图1所示,第一个Rest Client调用了MRS服务查询集群列表的AP
本教程主要介绍如何获取Rest Client的返回值,包含以下两个使用场景举例。 通过“响应消息体解析为传递参数定义”获取返回值 通过EL表达式获取返回值 通过“响应消息体解析为传递参数定义”获取返回值 如图1所示,第一个Rest Client调用了MRS服务查询集群列表的AP
集群节点进行负载均衡。 专享版集群创建后,您可以通过如下途径访问集群API: 内网地址:内网地址为用户VPC内的终端节点IP地址,默认具备。 外网地址(可选):外网地址为绑定在ELB上的EIP地址。EIP仅在创建数据服务集群时,勾选开启公网入口,才会具备。 内网域名(可选):内网
名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 oracle_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 192.168.0.1 端口 配置为要连接的数据库的端口。 默认端口:1521 数据库连接类型 选择Oracle数据库连接类型:
Broker连接地址视做域名不断进行解析,导致性能消耗。建议修改CDM集群对应的ECS主机(通过集群IP查找对应的ECS主机)中的“/etc/hosts”文件,为其添加Broker连接地址的自映射,以便客户端能够快速解析实例的Broker。例如Kafka Broker地址配置为10.154