检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用于读取一个公网HTTP/HTTPS URL的文件，包括第三方对象存储的公共读取场景和网盘场景。
图3 连接管理 创建集成任务所需的OBS连接、云数据库MySQL连接和MRS Hive连接。 单击“新建连接”，进入相应页面后，选择连接器类型“对象存储服务（OBS）”，单击“下一步”，然后如下图所示配置连接参数，单击“保存”。
环境准备 已开通对象存储服务OBS，并创建桶，例如“obs://dlfexample”，用于存放Spark作业的JAR包。 已开通数据湖探索服务DLI，并创建Spark集群“spark_cluster”，为Spark作业提供运行所需的物理资源。
OBS Manager 约束限制 该功能依赖于OBS服务。 功能 通过OBS Manager节点可以将OBS文件移动或复制到指定目录下。 参数 用户可参考表1，表2和表3配置OBS Manager节点的参数。
可选择列表文件所在的OBS连接。 OBS_test_link 列表文件OBS桶 当“列表文件”选择为“是”时，才有该参数。该参数表示列表文件所在的OBS桶名。 01 列表文件或目录 当“列表文件”选择为“是”时，才有该参数。该参数表示列表文件所在的OBS桶中的绝对路径或目录。
单击“新建连接”，进入相应页面后，选择连接器类型“对象存储服务（OBS）”，单击“下一步”，然后如下图所示配置连接参数，单击“保存”。
单击“下一步”，设置订阅配置信息，如果需要接收SMN通知，打开通知状态，选择通知类型和SMN服务主题，如图4。 图4 订阅配置 开启订阅配置后，每个满足通知类型的子作业都会发送通知。 如果开启告警，失败告警通知不需要单独配置，任务运行失败后会发送告警。
消息系统 DMS Kafka 对象存储：OBS Apache Kafka Hadoop：MRS Kafka 说明： 该链路目前需申请白名单后才能使用。如需使用该链路，请联系客服或技术支持人员。 父主题： 实时处理集成作业开发
OBS：通道里的流式数据存储在DIS中，并周期性导入对象存储服务OBS；通道里的实时文件数据传输完成后，导入OBS。 说明： 转储至CloudTable，仅华北-北京一区域支持。 单击，在弹出的对话框中配置转储任务的参数（参数说明请见《数据接入服务用户指南》的管理转储任务）。
开启数据服务集群OBS日志转储 功能介绍 开启数据服务集群OBS日志转储。 调用方法 请参见如何调用API。
API编排 × √ 注册现有API √ × 返回总条数 × √ API分组变量管理 √ √ 高级功能 自定义认证 √ √ 创建应用 50个 1000个 支持对接API云市场 √ × 支持协议 HTTP或HTTPS HTTPS 支持API策略路由 √ √ 运维分析展示 √ √ 支持后端负载均衡
cdm Blob开关 从关系型数据库导出数据到OBS，才有该参数。 启用后将会以根目录-表名-数据类型-数据的文件夹模型生成文件。
OBS服务：在数据集成或数据开发时，DataArts Studio会将脏数据或日志文件写入到OBS服务中，则会产生对象存储服务费用，收费标准请参见OBS价格详情。
配置OBS桶 脚本、作业或节点的历史运行记录依赖于OBS桶，如果未配置测试运行历史OBS桶，则无法查看历史运行的详细信息。请参考本节操作配置OBS桶。 约束限制 OBS路径仅支持OBS桶，不支持并行文件系统。
服务韧性 DataArts Studio通过AZ故障容错、过载保护、备份恢复等技术方案，保障数据的持久性和可靠性。 关于DataArts Studio支持的备份信息，请参见备份管理。 父主题： 安全
StringUtil内嵌对象 StringUtil内嵌对象提供了一系列字符串操作方法，例如从一个字符串中截取一个子字符串。 StringUtil内部是由org.apache.commons.lang3.StringUtils实现的，具体使用方法请参考apache commons文档
JSONUtil内嵌对象 JSONUtil内嵌对象提供了JSON对象方法。 方法 表1 方法说明 方法 描述 示例 Object parse(String jsonStr) 将json字符串转换为对象。 假设变量a为JSON字符串，将json字符串转换为对象，EL表达式如下： #{
Loop内嵌对象 使用Loop内嵌对象可获取For Each节点数据集中的数据。 属性 表1 属性说明 属性 类型 描述 示例 dataArray String Loop.dataArray表示For Each节点“数据集”中定义的二维数组。 一般定义格式为#{Loop.dataArray
网络环境准备 如图1所示，专享版集群创建后，资源位于资源租户区，由ELB统一对集群节点进行负载均衡。 专享版集群创建后，您可以通过如下途径访问集群API： 内网地址：内网地址为用户VPC内的终端节点IP地址，默认具备。 外网地址（可选）：外网地址为绑定在ELB上的EIP地址。
分析数据 通过DLI直接对OBS数据进行贸易统计分析。 前提条件 DLI创建OBS外表，对OBS表数据存储格式有所要求： 使用DataSource语法创建OBS表时，支持orc，parquet，json，csv，carbon，avro类型。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
