检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink程序执行的关键参数，该参数由用户程序内的函数指定。多个参数间使用空格隔开。 MRS资源队列 否 选择已创建好的MRS资源队列。 需要先在数据安全服务队列权限功能中，配置对应的队列后，才能在此处选择到已配置的队列。当有多处同时配置了资源队列时，此处配置的资源队列为最高优先级。 Flink作业资源包
csv”的文件，即可查看访问密钥（Access Key Id和Secret Access Key）。 每个用户仅允许新增两个访问密钥。 为保证访问密钥的安全，访问密钥仅在初次生成时自动下载，后续不可再次通过管理控制台界面获取。请在生成后妥善保管。 使用AK/SK认证时，您可以基于签名算法使用A
查看资产总览 通过总览，可以查看资产总览及资产报告。 资产总览可展示业务资产、技术资产和指标资产的情况。 业务资产来自于数据架构组件中定义并发布过的逻辑实体与数据表，资产总览展示业务对象、逻辑实体、业务属性的数量及其详情。 技术资产来自于数据连接和元数据采集任务，资产总览展示数据库、数据表、数据量的数量及其详情。
贯标与评估流程 贯标流程 DCMM贯标流程主要分为三个阶段： 差距分析：贯标启动，进行差距分析。 能力提升：建立数据管理组织，完善制度，内部运行并开展自评估。 评估确认：组建评估队伍，开展第三方评估，获取评估报告和能力证书。 图1 DCMM贯标流程 评估流程 DCMM评估流程分为如下步骤：
可能是由于网络不通、安全组或防火墙规则未放行、FTP主机名无法解析、FTP用户名密码错误等原因。若排除上述原因后仍无法解决，请联系客服或技术支持人员协助解决。 Cdm.0700 400 无法连接SFTP服务器。 无法连接SFTP服务器。 可能是由于网络不通、安全组或防火墙规则未放行
华为数据治理思考 华为在发展中也遇到了如下的数据问题： 数据管理责任不清晰，造成数据问题无人决策解决； 数据多源头，造成数据不一致，不可信； 数据大量搬家造成IT重复投资； 数据无定义造成难于理解、难于使用； 各部门发布报告，统计口径不一致，困扰业务决策； 数据形态多样化，数据量迅猛增长，数据处理逻辑复杂，投资大；
csv”的文件，即可查看访问密钥（Access Key Id和Secret Access Key）。 说明： 每个用户仅允许新增两个访问密钥。 为保证访问密钥的安全，访问密钥仅在初次生成时自动下载，后续不可再次通过管理控制台界面获取。请在生成后妥善保管。 - 密钥(SK) - 项目ID DLI服务所在区域的项目ID。
入口API算子是API工作流的入口，工作流发布后可通过调用入口API来调用API工作流。在入口API算子内需定义API工作流的名称、URL、参数协议、请求方式、审核人、安全认证以及请求参数。 入口API算子的配置方法，详见配置入口API算子。 API目录 普通API 必选 普通API是执行数据查询操作的算子。
参数说明 参数名称 参数解释 APP secret 签名密钥，认证用的ak和sk编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 string to sign 创建的待签字符串 假设APP secret为12345678-1234-
API连接时支持为Spark SQL作业独立配置需要的资源（例如线程、内存、CPU核数并指定MRS资源队列等）。代理连接时不支持配置。 您需要先在数据安全组件中配置对应的队列（参考配置队列权限，）后，才能在此处选择到已配置的队列。当有多处同时配置了资源队列时，此处配置的资源队列为最高优先级。
数据质量API概览 表1 数据质量API类型 类型 说明 目录接口 目录接口。 规则模板接口 规则模板接口。 质量作业接口 质量作业接口。 对账作业接口 对账作业接口。 运维管理接口 运维管理接口。 任务实例接口 任务实例接口。 质量报告接口 质量报告接口。 导入导出接口 导入导出接口。
单击，进入“集群列表”页面新建MRS集群。 前往MRS管理控制台进行新建。 MRS资源队列 否 选择已创建好的MRS资源队列。 说明： 您需要先在数据安全服务队列权限功能中，配置对应的队列后，才能在此处选择到已配置的队列。当有多处同时配置了资源队列时，此处配置的资源队列为最高优先级。 Spark作业名称
Flink作业执行的程序关键参数，该参数由用户程序内的函数指定。多个参数间使用空格隔开。 MRS资源队列 否 选择已创建好的MRS资源队列。 说明： 需要先在数据安全服务队列权限功能中，配置对应的队列后，才能在此处选择到已配置的队列。当有多处同时配置了资源队列时，此处配置的资源队列为最高优先级。 运行程序参数
修改。 数据库 是 默认选择SQL脚本中设置的数据库，支持修改。 MRS资源队列 否 选择已创建好的MRS资源队列。 说明： 需要先在数据安全服务队列权限功能中，配置对应的队列后，才能在此处选择到已配置的队列。当有多处同时配置了资源队列时，此处配置的资源队列为最高优先级。 脚本参数
自定义镜像是DLI的特性。用户可以依赖DLI提供的Spark或者Flink基础镜像，使用Dockerfile将作业运行需要的依赖（文件、jar包或者软件）打包到镜像中，生成自己的自定义镜像，然后将镜像发布到SWR（容器镜像服务）中，最后在此选择自己生成的镜像，运行作业。 自定义镜像可以改变
新建一个质量作业 场景说明 开发质量作业是为了监控数据质量。本章以新建一个质量作业为例，介绍如何开发质量作业。 操作步骤 在DataArts Studio控制台首页，选择对应工作空间的“数据质量”模块，进入数据质量页面。 创建规则模板。 单击左侧导航“规则模板”，默认展示系统自定
Flink程序执行的关键参数，该参数由用户程序内的函数指定。多个参数间使用空格隔开。 MRS资源队列 选择已创建好的MRS资源队列。 需要先在数据安全服务队列权限功能中，配置对应的队列后，才能在此处选择到已配置的队列。当有多处同时配置了资源队列时，此处配置的资源队列为最高优先级。 重跑策略
终止、重跑等操作。 只有支持委托提交作业的MRS集群，才支持质量作业周期调度。 支持委托方式提交作业的MRS集群有： MRS的非安全集群。 MRS的安全集群，集群版本大于2.1.0，并且安装了MRS 2.1.0.1以上的补丁。 表3 配置周期调度参数 参数名 说明 生效日期 调度任务的生效日期。
查看API工作流授权：在API工作流列表页面，单击对应工作流操作栏中的“查看授权”，即可进入API完整信息界面，并对工作流进行授权。 注意，当入口API的安全认证方式为APP认证或IAM认证时，在调用API工作流前需要完成创建应用和将API授权给应用。工作流授权方式与API授权方式基本一致，可参考授权API调用或申请API授权。
参考：CDM性能实测数据 背景说明 文中提供的性能指标仅用于参考，实际环境会受源或目标数据源性能、网络带宽及时延、数据及业务模型等因素影响。推荐您在正式迁移前，可先用小数据量实测进行速度摸底。 环境信息 CDM集群为xlarge规格，2.9.1 200版本。 性能测试中，表数据规
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
