检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
并支持多表关联、复杂查询条件以及聚合函数等功能。 生成API 注册API 将通过数据表生成的API统一管理和发布到API网关。目前数据服务支持Restful风格的API注册,包含GET/POST常见请求方式。 注册API 发布API 数据服务提供API托管服务,涵盖API发布、
--example 1\;example 2. 脚本内容大小不能超过16MB。 使用SQL语句获取的系统日期和通过数据库工具获取的系统日期是不一样,查询结果存到数据库是以YYYY-MM-DD格式,而页面显示查询结果是经过转换后的格式。 Flink SQL作业支持语法检查。在编辑器上方,单
表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 flavor_id 是 String 规格ID,获取方法请参见查询版本规格。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
支持的组件 支持的语言 获取地址 REST API SDK包 REST API SDK是基于DataArts Studio REST API封装的SDK包。 通过调用此SDK包提供的代码样例,即可通过API接口对数据治理中心的各组件进行相关操作。 数据集成(注册在云数据迁移CDM服务)
连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 mongodb_link 服务器列表 MongoDB服务器地址列表,输入格式为“数据库服务器域名或IP地址:端口”。多个服务器列表间以“;”分隔。 192.168.0.1:7300;192.168.0.2:7301 数据库名称 要连接的MongoDB数据库名称。
记忆、区分的连接名。 css_link Elasticsearch服务器列表 配置为一个或多个Elasticsearch服务器的IP地址或域名,包括端口号,格式为“ip:port”,多个地址之间使用“;”分隔。 192.168.0.1:9200;192.168.0.2:9200 安全模式认证
运营决策人员的诉求。 数据运营成本高,数据未服务化,导致数据复制多、数据口径不一致,同时数据重复开发,造成资源浪费。 数据创新的挑战 企业内部存在大量数据孤岛,导致数据不共享、不流通,无法实现跨领域的数据分析与数据创新。 数据的应用还停留在数据分析报表阶段,缺乏基于数据反哺业务推动业务创新的解决方案。
路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 datastore_id 是 String 版本ID,获取方法请参见CDM支持的版本。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述
Studio控制台实例 > 资源管理 > 实时资源管理”检查资源组是否运行。 连通性检查异常 请检查“管理中心 > 数据连接”,数据连接是否配置正确,“IP或域名”是否填写的内网IP,绑定Agent是否状态正常。 请检查“DataArts Studio控制台实例 > 资源管理 > 实时网络连接管理”,
getDay(DateUtil.addDays(Job.planTime,1)) == 1 ? "true" : "false"} 表达式的含义是:获取当前的时间点,往后推一天,判断是不是1号,如果是,则表明当前是每个月的最后一天,执行后续节点。如果不是,则跳过后续的业务节点。 图3 条件表达式
getDay(DateUtil.addDays(Job.planTime,1)) == 1 ? "true" : "false"} 表达式的含义是:获取当前的时间点,往后推一天,判断是不是1号,如果是,则表明当前是每个月的最后一天,执行后续节点。如果不是,则跳过后续的业务节点。 图3 条件表达式
project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。
Studio控制台首页,选择对应工作空间的“数据目录”模块,进入数据目录页面。 选择“元数据采集 > 任务管理”。 选择采集任务所归属的目录。如果未新建目录请参见图1创建进行。 图1 新建采集任务的归属目录 单击页面上方“新建”或者右键单击任务菜单,单击“新增任务”,在弹出的对话框中,配置相关参数,新建采集任务。
项目ID,获取方法请参见项目ID和账号ID。 cluster_id 是 String 集群ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消
项目ID,获取方法请参见项目ID和账号ID。 cluster_id 是 String 集群ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消
Token,通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值) 使用Token认证时必选。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 X-Project-Id 否 String 项目ID,获取方法请参见项目ID和账号ID。
ssion is down 本指导以Shell算子为例。 问题现象 Shell节点运行失败了,实际上Shell脚本运行成功了。 原因分析 获取Shell节点的运行日志。 [2021/11/17 02:00:36 GMT+0800] [INFO] No job-level agency
路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 instance_id 是 String 实例ID,获取方法请参见获取集群列表。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
支持通过自定义属性修改部分作业参数及开启部分高级功能,详情可参见任务性能调优章节。 - 提交并运行任务。 作业配置完毕后,单击作业开发页面左上角“提交”,完成作业提交。 图7 提交作业 提交成功后,单击作业开发页面“启动”按钮,在弹出的启动配置对话框按照实际情况配置同步位点参数,单击“确定”启动作业。 图8 启动配置
入门实践 当您参考购买并配置DataArts Studio章节完成注册华为账号、购买DataArts Studio实例(DataArts Studio企业版)、创建工作空间等一系列操作后,可以根据自身的业务需求使用DataArts Studio提供的一系列常用实践。 表1 常用最佳实践