检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
承接上下游数据需求,并主动根据领域内应用场景和业务需求识别数据需求,对需求的实现进行推动和管理。 依据相关规定定义本领域数据安全等级,并进行数据授权管理。 数据管家(Data Stewards):数据管家是领域数据治理工作的协助者。
如果所有已授权用户均完成审核中心通知列表消息处理,或在应用中解绑与API的绑定关系,API就会直接下线;否则会以待下线状态,等待达到下线时间,再强制下线。 删除API 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。
应用场景: 管理任务优先级 在任务数量越来越多,而资源有限的情况下,当发生资源抢占时,可以将重要任务添加至基线上,并为基线设置较高的优先级,以保证重要的任务可以优先分配到资源。
单击左侧导航树中的“权限应用”,进入权限应用页面。 在“权限应用”页面,为希望启用细粒度认证的数据连接,进行联通性测试。联通性测试时,系统会使用当前用户账号访问数据源,以确保当前用户访问正常。
脚本模板和参数模板的应用场景请参见引用脚本模板和参数模板的使用介绍。 父主题: 配置
DLI队列 选择获取profile数据,执行DLI SQL用的队列。 勾选“采集唯一值”表示只统计已采集的表中的唯一值的个数,并在数据目录中的概要页签呈现。
数据集市用于汇总表和应用表等数据应用表的建模。 描述 数仓分层描述信息。支持的长度0~200字符。 禁用自定义项 选择自定义项。如果没有自定义项,则表示没有可禁用的自定义项。 单击“确定”。数仓分层新建完成。
APPEND:写入前不进行任何处理 ABANDON:如果目录下存在自定义文件名前缀匹配的文件,直接报错。 REPLACE 高级属性 字段分隔符 文件中的字段分隔符。“文件格式”为“二进制格式”时该参数值无效。
背景信息 原子指标来源于事实表和维度表: 原子指标是为了构建应用统计分析所需的衍生指标,而定义的数据组件,因此可以基于事实逻辑表明细数据表来创建,也可以基于维度表来创建。 衍生指标无来源表,它归属于每个组合成它的原始的原子指标的来源表。
环境变量:环境变量是在操作系统中一个具有特定名字的对象,它包含了一个或者多个应用程序所使用到的信息。 补数据:手工触发周期方式调度的作业任务,生成某时间段内的实例。 父主题: 数据开发
图1 作业开发流程 新建作业:当前提供两种作业类型:批处理和实时处理,分别应用于批量数据处理和实时连接性数据处理,其中批处理作业还支持Pipeline和单节点作业两种模式,具体请参见新建作业。 开发作业:基于新建的作业,进行作业开发,您可以进行编排、配置节点。
now([tz]): 获取指定时区的当前时间。 if(cond_exp, str1, str2): 满足条件表达式cond_exp时返回str1, 否则返回str2。 concat(#col[, #str, ...]): 拼接多个参数, 可为源端列或字符串。
应用程序参数支持全局变量替换。例如,在“全局配置”>“全局变量”中新增全局变量key为batch_num,可以使用{{batch_num}},在提交作业之后进行变量替换。
如果在字段映射界面,CDM通过获取样值的方式无法获得所有列,则可以单击自定义新增字段,也可单击操作列下创建字段转换器,确保导入到目的端的数据完整。 支持通过字段映射界面的,可自定义添加常量、变量及表达式。
deleteResource dli:resource:getResource dli:resource:listAllResource dli:variable:update dli:variable:delete DLI类型作业/脚本运行 IAM iam:agencies:listAgencies 获取作业委托
场景描述 H公司是国内一家收集主要贸易国贸易统计及买家数据的商业机构,拥有大量的贸易统计数据库,其数据广泛应用于产业研究、行业研究、国际贸易促进等方面。
作业调度支持多种云服务的多种类型的任务混合编排,高性能的调度引擎已经经过几百个应用的检验。 运维监控 支持对作业进行运行、暂停、恢复、终止等多种操作。 支持查看作业和其内各任务节点的运行详情。 支持配置多种方式报警,作业和任务发生错误时可及时通知相关人,保证业务正常运行。
为方便演示,您无需获取原始数据,本示例提供了模拟原始数据的样例数据供您使用。您可以参考下文的样例数据准备方法,将样例数据存储为CSV文件,将CSV文件上传至OBS服务中,然后再使用DataArts Studio数据集成将样例数据集成到其他云服务中。
如果您的应用需要较高的容灾能力,建议您将资源部署在同一区域的不同可用区内。 如果您的应用要求实例之间的网络延时较低,则建议您将资源创建在同一可用区内。 详情请参见什么是可用区。
如果您的应用需要较高的容灾能力,建议您将资源部署在同一区域的不同可用区内。 如果您的应用要求实例之间的网络延时较低,则建议您将资源创建在同一可用区内。 详情请参见什么是可用区。 工作空间 选择需要使用批量数据迁移增量包的工作空间。