检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
默认在DataArts Studio数据开发组件执行脚本、测试运行作业时,数据源(此处指MRS/DWS数据源)会使用数据连接上的账号进行认证鉴权。因此在数据开发时,权限管控依然无法生效。需要您启用细粒度认证,使得在数据开发执行脚本、测试运行作业时,使用当前用户身份认证鉴权,从而做到实现不
默认在DataArts Studio数据开发组件执行脚本、测试运行作业时,数据源(此处指MRS/DWS数据源)会使用数据连接上的账号进行认证鉴权。因此在数据开发时,权限管控依然无法生效。需要您启用细粒度认证,使得在数据开发执行脚本、测试运行作业时,使用当前用户身份认证鉴权,从而做到实现不
在数据开发控制台,单击左侧导航栏中的作业开发按钮,进入作业开发页面后,打开已完成血缘配置的作业。 在数据开发中,当作业进行“执行调度”时,系统开始解析血缘关系。 测试运行不会解析血缘。 图1 作业调度 待调度作业成功运行完成后,等待约1分钟左右,数据血缘关系即可生成成功。 查看数据血缘关系 在DataArts
在数据开发控制台,单击左侧导航栏中的作业开发按钮,进入作业开发页面后,打开已完成血缘配置的作业。 在数据开发中,当作业进行“执行调度”时,系统开始解析血缘关系。 测试运行不会解析血缘。 图1 作业调度 待调度作业成功运行完成后,等待约1分钟左右,数据血缘关系即可生成成功。 查看数据血缘关系 在DataArts
MRS Hive和DWS动态脱敏策略为指定用户/用户组在数据源上关联策略,因此需要如果希望在DataArts Studio数据开发执行脚本、测试运行作业时,使用当前用户身份认证鉴权以实现动态脱敏策略生效,则需要启用细粒度认证。 如果希望创建脱敏策略时能够查看哪些字段为敏感字段,则需
如果已绑定API列表中包含无需绑定的API,在此API所在行的操作列,单击“解绑”,将无需绑定的API删除。 如果需要调试已绑定的API,单击“测试”,进入调试页面。 如果需要对已绑定的API延长授权时间,单击“续约”。 相关操作 批量授权应用:您可以在专享版的“开发API > API
数据地图,实现数据血缘和数据全景可视,提供数据智能搜索和运营监控。 数据服务 数据服务定位于标准化的数据服务平台,提供一站式数据服务开发、测试部署能力,实现数据服务敏捷响应,降低数据获取难度,提升数据消费体验和效率,最终实现数据资产的变现。 数据安全 数据安全为数据治理中心提供数
MS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据)、日志收集等大量数据的互联网服务的数据收集场景。 MapReduce服务(MRS Spark)
置和管理,支持单表、整库、增量、周期性数据集成。DataArts Studio基础包中已经包含一个数据集成CDM集群,由于规格限制,仅用于测试、试用等非正式业务场景。如果您需要创建用于业务场景的CDM集群,则可通过购买按需计费的批量数据迁移增量包来进行创建。 按需计费 套餐包(按需资源包)
如果已绑定API列表中包含无需绑定的API,在此API所在行的操作列,单击“解绑”,将无需绑定的API删除。 如果需要调试已绑定的API,单击“测试”,进入调试页面。 如果需要对已绑定的API延长授权时间,单击“续约”。 相关操作 批量授权应用:您可以在专享版的“开发API > API
在主题域“时空”下,新建1个业务对象:时间。 在主题域“公共维度”下,新建1个业务对象:公共维度。 表1 主题设计信息 主题域分组名称(L1) 主题域分组编码(L1) 主题域名称(L2) 主题域编码(L2) 业务对象名称(L3) 业务对象编码(L3) 城市交通 city_traffic 行程记录 stroke_reminder
default数据库中的数据表进行脱敏。 *目标表名 用户手动输入,不能与目标端数据库表名重复。当输入的表名不存在时会创建该表。 输入请单击“测试”,测试创建目标表并检测目标表是否可用,否则将无法进行下一步操作。 执行引擎 *执行引擎 选择运行脱敏任务的引擎。不同脱敏场景下支持的引擎和注意事项如表3所示。
在主题域“时空”下,新建1个业务对象:时间。 在主题域“公共维度”下,新建1个业务对象:公共维度。 表2 主题设计信息 主题域分组名称(L1) 主题域分组编码(L1) 主题域名称(L2) 主题域编码(L2) 业务对象名称(L3) 业务对象编码(L3) 城市交通 city_traffic 行程记录 stroke_reminder
API_SPECIFIC_TYPE_REGISTER:注册类API API_SPECIFIC_TYPE_ORCHESTRATE:编排类API API_TYPE_CREATE:创建类API(已弃用) API_TYPE_REGISTER:注册类API(已弃用) auth_type 否 String
”。 obs_rds(CDM Job节点):在节点属性中,关联创建CDM作业中创建的CDM作业“obs_rds”。 作业编排完成后,单击,测试运行作业。 如果日志运行正常,单击右侧的“调度配置”,配置作业的调度策略。 图12 调度配置 说明: 2018/10/10至2018/11/09,每天2点执行一次作业。
开启“多表多字段”开关后,“异常表模板”参数不显示,不支持配置。 例如,有一张涉及金额的表,表中“is_test”字段用于标识该条数据是否为测试数据(0为正式数据,1为测试数据)。期望计算正式数据的金额最小值,最大值,平均值以及总和。则自定义模板可设置如下: 维度:准确性。 所属目录:/全部/。
创建API 配置方式生成API 脚本/MyBatis方式生成API 注册API 父主题: 开发数据服务API
rts Studio功能,工作空间的划分通常按照分子公司(如集团、子公司、部门等)、业务领域(如采购、生产、销售等)或者实施环境(如开发、测试、生产等),没有特定的划分要求。 工作空间从系统层面为管理者提供对使用DataArts Studio的用户(成员)权限、资源、DataArts
a79fd5ae-1833-448a-88e8-3ea2b913e1f6:表示cdm.small规格,2核CPU、4G内存的虚拟机。适合PoC验证和开发测试。 fb8fe666-6734-4b11-bc6c-43d11db3c745:表示cdm.medium规格,4核CPU、8G内存的虚拟机适合单张表规模<1000万条的场景。
购买并配置DataArts Studio 注册账号并实名认证 购买DataArts Studio实例 购买DataArts Studio增量包 访问DataArts Studio实例控制台 创建并配置简单模式工作空间 (可选)升级企业模式工作空间 管理DataArts Studio资源