检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
下线/删除API 操作场景 已发布的API因为其他原因需要停止对外提供服务，可以将API从相关环境中下线，相关操作请参见下线API。 下线后的API如果要继续使用，需要重新进行发布操作，但需注意下线API不会保留原有的授权信息。 下线后的API如果确认不再提供服务，可以将API删除
创建CDM与数据源之间的连接 操作场景 用户在创建数据迁移的任务前，需要先创建连接，让CDM集群能够读写数据源。一个迁移任务，需要建立两个连接，源连接和目的连接。不同的迁移方式（表或者文件迁移），哪些数据源支持导出（即作为源连接），哪些数据源支持导入（即作为目的连接），详情请参见支持的数据源
华为数据治理思考 华为在发展中也遇到了如下的数据问题： 数据管理责任不清晰，造成数据问题无人决策解决； 数据多源头，造成数据不一致，不可信； 数据大量搬家造成IT重复投资； 数据无定义造成难于理解、难于使用； 各部门发布报告，统计口径不一致，困扰业务决策； 数据形态多样化，数据量迅猛增长
企业模式业务流程 当前DataArts Studio企业模式，主要涉及管理中心和数据开发组件，业务流程由管理员、开发者、部署者、运维者等角色共同完成。 图1 企业模式架构 管理员：管理员需要进行准备数据湖、配置数据连接和环境隔离、数据的导入导出、配置项目用户权限等操作。 开发者：开发者需要在数据开发的开发环境
作业任务参数调优 概述 实时数据集成服务底层使用Flink流处理框架进行开发，因此包含了Flink系统中最重要的两个部分：JobManager和TaskManager。 作业任务配置中调整的处理器核数、并发数、执行内存参数等便是用来调整JobManager和TaskManager的
逆向数据库（维度建模） 通过逆向数据库，您可以将其他数据源的数据库中的表导入到指定的模型中。 前提条件 在逆向数据库之前，请先在DataArts Studio数据目录模块中对数据库进行元数据采集，以便同步数据目录时可以同步成功，否则同步数据目录将执行失败。有关数据目录元数据采集的具体操作
新建数据分类 本章主要介绍如何创建数据分类规则。 只有在创建数据分类规则之后，您才可以创建数据脱敏策略进行数据脱敏。 前提条件 数据密级定义已完成，请参见新建数据密级。 新建分类规则 在DataArts Studio控制台首页，选择实例，单击“进入控制台”，选择对应工作空间的“数据目录
通过浏览器调用无认证方式的API 当无认证方式的API入参位置在Query或Path时，支持直接通过浏览器调用。 无认证方式建议仅在测试接口时使用，不推荐正式使用。若调用方为不可信任用户，则存在数据库安全风险（如数据泄露、数据库高并发访问导致宕机、SQL注入等风险）。 本章节以Chrome
申请API授权 对于API调用者而言，如果API开发者未授权APP或IAM认证方式的API，则需要自行申请API授权，等待审批通过后才能进行API调用。 如果API开发者已完成授权APP或IAM认证方式的API给应用（详见通过应用授权APP认证方式API、通过应用授权IAM认证方式
离散小时调度与作业最近依赖调度逻辑 数据开发当前支持两种调度依赖策略：传统周期调度依赖和自然周期调度依赖。 传统周期调度依赖的详细信息请参见传统周期调度。 自然周期调度依赖的详细信息请参见自然周期调度。 随着用户业务的演进，自然周期调度中，增加了许多新的调度规则，如离散小时调度，最近依赖调度等
创建API 功能介绍 创建API。 调用方法 请参见如何调用API。
实时集成作业监控 实时集成作业监控提供了对实时处理集成作业的状态进行监控的能力。 实时处理集成作业处理实时的连续数据，主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的流水线，每个节点配置独立的、节点级别的调度策略，而且节点启动的任务可以永不下线。在实时作业里，带箭头的连线仅代表业务上的关系
Shell/Python节点执行失败，后台报错session is down 本指导以Shell算子为例。 问题现象 Shell节点运行失败了，实际上Shell脚本运行成功了。 原因分析 获取Shell节点的运行日志。 [2021/11/17 02:00:36 GMT+0800]
正则表达式分隔半结构化文本 在创建表/文件迁移作业时，对简单CSV格式的文件，CDM可以使用字段分隔符进行字段分隔。但是对于一些复杂的半结构化文本，由于字段值也包含了分隔符，所以无法使用分隔符进行字段分隔，此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置，要求源连接为对象存储或者文件系统
正则表达式分隔半结构化文本 在创建表/文件迁移作业时，对简单CSV格式的文件，CDM可以使用字段分隔符进行字段分隔。但是对于一些复杂的半结构化文本，由于字段值也包含了分隔符，所以无法使用分隔符进行字段分隔，此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置，要求源连接为对象存储或者文件系统
构造请求 本节介绍REST API请求的组成，并以调用IAM服务的管理员创建IAM用户接口为例说明如何调用API。该API用于管理员创建IAM用户。 您还可以通过这个视频教程了解如何构造请求调用API：https://bbs.huaweicloud.com/videos/102987
更新动态数据脱敏策略 功能介绍 更新动态数据脱敏策略。 调用方法 请参见如何调用API。
创建数据脱敏策略 功能介绍 创建动态数据脱敏策略。 调用方法 请参见如何调用API。
终端节点Endpoint 获取终端节点 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同。 数据治理中心的终端节点Endpoint构造规则如下，请您根据业务需要选择对应区域的终端节点。 CDM数据集成接口：cdm.{region_id}.myhuaweicloud.com
CDM迁移近一个月的数据 备HBase集群中约10TB数据，最近一个月新增的数据量约60TB，总共约70TB。H公司安装的云专线为20GE端口，支持CDM超大规格的集群（cdm.xlarge），综合考虑迁移时间、成本、性能等，这里使用2个CDM超大规格集群并行迁移。CDM集群规格如表
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
