检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图2 审核按钮 撤销API申请 数据服务平台提供撤销待审核申请的功能,您可在“审核中心 >申请列表”撤销待审核申请。 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航选择服务版本(例如:专享版),进入总览页。 单击“运营管理
适用场景:源端数据源为文件类型(OBS/HDFS/FTP/SFTP)。这种增量迁移方式,只追加写入文件,不会更新或删除已存在的记录。 关键配置:文件/路径过滤器+定时执行作业。 前提条件:源端目录或文件名带有时间字段。 增量导出指定时间以后的文件 适用场景:源端数据源为文件类型(OBS/HDFS/F
longs 资源ID数组。 export_mode 否 String 导出模式,null表示导出到本地文件系统,obs表示导出至obs,仅限于导出质量报告使用。 obs_service_type 否 String 业务类型,technology表示技术报告,business表示业务报告,仅限于导出质量报告使用。
工作空间的管理员可以配置当前工作空间的默认OBS转储路径。 选择“数据开发 > 下载中心”进入。 单击“配置OBS默认地址”进入“配置OBS默认路径”页面。 配置默认的OBS路径。 此处配置的OBS路径,是脚本开发或者单任务作业开发时测试运行结果的默认转储OBS路径。配置成功后,后续转储运行
您可以通过以下两种方式导出质量报告: 若使用局点有OBS服务,系统默认导出到关联的OBS桶中。 由于质量报告数据量较大,单个导出文件字段条数最多为2000条,因此OBS桶里或许会有多个导出文件。 导出的报告仅限当前工作空间内。 若使用局点没有OBS服务,系统默认导出到本地。 在DataArts
共享版与专享版数据服务的对比 共享版与专享版对比 数据服务当前提供共享版与专享版两种服务方式。其中共享版数据服务即开即用但仅限于存量用户调测使用,专享版数据服务需要购买专享版集群增量包并在集群中管理API。 数据服务共享版当前仅限于华东-上海一、华北-北京四、华南-广州的存量用户
gs/{xxxx}”,会被视作相同路径。 参数协议 用于传输请求的协议,共享版支持HTTP或HTTPS协议,专享版支持HTTPS协议。 推荐选择HTTPS协议,HTTP安全性欠佳,可能会存在安全风险。 HTTP属于基础的网络传输协议,无状态、无连接、简单、快速、灵活、使用明文传输,在使用上较为便捷,但是安全性欠佳。
不归档:不对脏数据进行存储,仅记录到任务日志中。 归档到OBS:将脏数据存储到OBS中,并打印到任务日志中。 不归档 脏数据写入连接 “脏数据策略”选择归档到OBS时显示该参数。 脏数据要写入的连接,目前只支持写入到OBS连接。 - 脏数据目录 脏数据写入的OBS目录。 - 脏数据阈值 是否写入脏数据为是时显示该参数。
用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 total Integer 作业数,查询单个作业时为0。 jobs Array of Job objects
脏数据要写入的连接,目前只支持写入到OBS连接。 obs_link OBS桶 当“脏数据写入连接”为OBS类型的连接时,才显示该参数。 写入脏数据的OBS桶的名称。 dirtydata 脏数据目录 “是否写入脏数据”选择为“是”时,该参数才显示。 OBS上存储脏数据的目录,只有在配置了脏数据目录的情况下才会记录脏数据。
共用的,允许开发者修改。 企业模式:工作空间的环境变量只有管理员才能创建或编辑环境变量。 导入环境变量 导入环境变量功能依赖于OBS服务,如无OBS服务,可从本地导入。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts
如果作业名称不符合规则,将导致提交MRS作业失败。 Flink作业资源包 是 选择Jar包。在选择Jar包之前,您需要先将Jar包上传至OBS桶中,并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中,具体操作请参考新建资源。 Flink作业执行参数 否 Flink作业执
valueOf("<YOUR REGION>")) .build(); ShowJobStatusRequest request = new ShowJobStatusRequest(); request.withClusterId("{cluster_id}");
选择并导出脚本 在弹出的“导出脚本”界面,选择需要导出的脚本的状态,单击“确定”。 图2 导出脚本 导入脚本 导入脚本功能依赖于OBS服务,如无OBS服务,可从本地导入。 您可以在脚本目录中导入一个或多个脚本文件。导入会覆盖开发态的内容,并自动提交一个新版本。 参考访问DataArts
Records不会导入到目标表,而是导入到OBS脏数据路径中。 如果未配置工作空间中的DLI脏数据OBS路径,则默认会把DLI SQL执行过程中的脏数据写到dlf-log-{projectId}桶中。 若要自定义DLI脏数据日志路径,请前往空间管理进行编辑操作。详细操作请参见配置OBS桶。 表2 高级参数
应jar包文件的OBS路径,格式为:obs://桶名/文件夹路径名/包名。在选择资源包之前,您需要先将Jar包及其依赖包上传至OBS桶中,并在“资源管理”页面中新建资源,具体操作请参考新建资源。 资源类型 是 支持OBS路径和DLI程序包两种类型的资源。 OBS路径:作业执行时,
gs/{xxxx}”,会被视作相同路径。 参数协议 用于传输请求的协议,共享版支持HTTP或HTTPS协议,专享版支持HTTPS协议。 推荐选择HTTPS协议,HTTP安全性欠佳,可能会存在安全风险。 HTTP属于基础的网络传输协议,无状态、无连接、简单、快速、灵活、使用明文传输,在使用上较为便捷,但是安全性欠佳。
数据服务API API管理接口 申请管理接口 消息管理接口 授权管理接口 服务目录管理接口 网关管理接口 应用管理接口 总览接口 集群管理接口
datasource_qualified_name String 数据连接唯一标识名称。 obs_folder_count Integer obs目录数。 obs_file_count Integer obs文件数。 css_index_count Integer css索引数。 css_index_field_count
响应Body参数 参数 参数类型 描述 submissions Array of StartJobSubmission objects 作业运行信息,请参见submission参数说明。 表5 StartJobSubmission 参数 参数类型 描述 isIncrementing Boolean