检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
驱动调度三种调度方式。具体请参见配置节点调度任务（实时作业）。 前提条件 已完成开发Pipeline作业或开发批处理单任务SQL作业。 当前用户已锁定该作业，否则需要通过“抢锁”锁定作业后才能继续开发作业。新建或导入作业后默认被当前用户锁定，详情参见编辑锁定功能。 约束限制 调度
应用管理”，进入到应用管理页面。单击“新建”，弹出“新建应用”对话框。填写如表1所示信息。 表1 应用信息 信息项 描述 应用名称 应用名称，IAM应用类型固定为华为账号，且不支持修改。 应用类型 选择IAM应用类型，IAM认证方式的API只能授权给IAM类型的应用。 IAM：IAM类型应用为IAM认证方式的API进
Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 在作业目录中，右键单击目录名称，选择“新建作业”。 选择作业类型和模式。“作业类型”选择“实时处理”，“模式”选择“单任务-Flink JAR”。其他参数按照实际进行配置即可。
工作空间成员共有管理员、开发者、部署者、运维者和访客五种预置角色，并支持自定义角色。 管理员：工作空间管理员，拥有工作空间内所有的业务操作权限。建议将项目负责人、开发责任人、运维管理员设置为管理员角色。 开发者：开发者拥有工作空间内创建、管理工作项的业务操作权限。建议将任务开发、任务处理的用户设置为开发者。
开发一个Python作业 本章节介绍如何在数据开发模块上开发并执行Python作业示例。 环境准备 已开通弹性云服务器，并创建ECS，ECS主机名为“ecs-dgc”。 本示例主机选择“CentOS 8.0 64bit with ARM(40GB)”的公共镜像，并且使用ECS自带
测试数据开发连接细粒度连通性 功能介绍 测试数据开发连接细粒度连通性。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/fgac/dlf/datawarehouses/{dw_id} 表1 路径参数 参数 是否必选 参数类型
false表示关闭细粒度认证。 fgac_type String 细粒度认证类型，开启细粒度认证时才生效。"0"表示开发态细粒度认证，支持数据开发细粒度脚本运行、作业测试运行，"1"表示调度态细粒度认证，支持数据开发细粒度脚本运行、作业测试运行、作业执行调度。 fgac_conn_status String
移动当前目录至新目录 功能介绍 移动当前目录至新目录。移动目录的的同时会移动其下的所有子目录与api。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/service/servicecatalogs/{catalog_id}/move 表1 路径参数
数据指标应用 创建完数据指标的相关数据后，请前往数据架构模块，进行数据集市建设，新建数据集市层并发布汇总表。汇总表能够引用指标管理里的指标，发布后进行指标结果物化。 本示例中，先创建汇总表所需的主题，汇总表依赖于主题架构，然后创建汇总表，汇总表名称为地区坪效比汇总表。 创建主题详细信息请参见数据架构的主题设计。
duct表数据 开发并调度作业 假设在OBS中原始BI报表是每日更新的，我们希望每天更新分析结果，那么这里可以使用DLF作业编排和作业调度功能。 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。 创建一个数据开发批处理作业，作业名称为“BI_analysis”。
应用管理接口 创建应用 查询应用列表 更新应用 删除应用 查询应用详情 父主题： 数据服务API
通过数据开发实现数据增量迁移 DataArts Studio服务的DLF组件提供了一站式的大数据协同开发平台，借助DLF的在线脚本编辑、周期调度CDM的迁移作业，也可以实现增量数据迁移。 这里以DWS导入到OBS为例，介绍DLF配合CDM实现增量迁移的流程： 获取CDM作业的JSON
数据开发进阶实践 周期调度依赖策略 离散小时调度与作业最近依赖调度逻辑 补数据场景使用介绍 作业调度支持每月最后一天 获取SQL节点的输出结果值 IF条件判断教程 获取Rest Client节点返回值教程 For Each节点使用介绍 数据开发调用数据质量算子并且作业运行的时候需要传入质量参数
Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。 在数据开发主界面的左侧导航栏，选择“配置管理 > 资源管理”。单击“新建资源”，在数据开发模块中创建一个资源关联到1的JAR包，资源名称为“spark-example”。 图1 创建资源 提交Spark作业 用户需要在数据开发模块中创建一个作业，通过作业的DLI
开发数据服务API 购买并管理专享版集群 新建数据服务审核人 创建API 调试API 发布API 管理API 编排API 配置API调用流控策略 授权API调用 父主题： 数据服务
数据目录管理模块完成元数据的采集和注册，为数据应用和数据消费提供了解数据的窗口。 数据服务管控实现在数据服务开发过程中服务标准、规范、要求和管理的落实，数据服务打通数据应用和数据消费的物理通道。 数据安全在数据开发过程中完成数据安全的IT实现，以达成数据应用过程中安全管理规范的要求。 以上工
开发一个MRS Flink作业 本章节介绍如何在数据开发模块上进行MRS Flink作业开发。 场景说明 本教程通过开发一个MRS Flink作业来实现统计单词的个数。 前提条件 具有OBS相关路径的访问权限。 已开通MapReduce服务MRS，并创建MRS集群。 数据准备 下
（可选）管理脚本 复制脚本 复制名称与重命名脚本 移动脚本/脚本目录 导出导入脚本 查看脚本引用 删除脚本 解锁脚本 转移脚本责任人 批量解锁 父主题： 脚本开发
调用数据开发API报错Unknown Exception？ 问题描述 调用数据开发API报错Unknown Exception。 解决方案 DataArts Studio是项目级服务，获取Token的scope要选择project级别。 父主题： 数据开发
开发一个MRS Spark Python作业 本章节介绍如何在数据开发模块上进行MRS Spark Python作业开发。 案例一：通过MRS Spark Python作业实现统计单词的个数 前提条件： 开发者具有OBS相关路径的访问权限。 数据准备： 准备脚本文件"wordcount
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
