检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
路，以避免问题数据污染扩散。同时，数据质量提供了历史校验结果的管理，以便您对数据质量分析和定级。 另外，数据质量监控DQC支持根据数据架构中的数据标准，自动生成标准化的质量规则，并进行周期性的监控。 数据质量监控主界面包括以下功能模块。 功能 说明 总览 默认首页是总览页面，显示了数据表的报警和阻塞情况。
下，再手动配置血缘关系。 自动血缘解析，是由系统解析数据开发作业中的数据处理和数据迁移类型节点后自动产生的，无需进行手动配置。支持自动血缘解析的节点类型和场景请参见自动血缘解析。 手动配置血缘，是在数据开发作业节点中，自定义血缘关系的输入表和输出表。注意手动配置血缘时，此节点的自
表名支持配置通配符（*），实现导出以某一前缀开头或者以某一后缀结尾的所有表（要求表中的字段个数和类型都一样）。例如： table*表示导出所有以“table”开头的表。 *table表示导出所有以“table”结尾的表。 *table*表示表名中只要有“table”字符串，就全部导出。 table 高级属性
数据源元数据获取 获取数据库列表 获取schemas 获取数据源中的表 获取数据源中表的字段 父主题： 管理中心API
该参数表示列表文件所在的OBS桶中的绝对路径或目录。 /0521/Lists.txt 高级属性 换行符 文件中的换行符，默认自动识别“\n”、“\r”或“\r\n”。当“文件格式”选择为“CSV格式”时，才有该参数。 \n 字段分隔符 文件中的字段分隔符，使用Tab键作为分隔符
SQL的执行方式。 SQL语句放置在OBS中：执行Hive SQL及Spark SQL语句时，把SQL语句放在OBS中，将OBS路径返回给MRS。 SQL语句放置在请求的消息体中：执行Hive SQL及Spark SQL语句时，把SQL语句放在请求的消息体中，将脚本内容返回给MRS。 单击“保存”，对设置的配置项进行保存。
启用细粒度认证后，在数据开发组件选择数据库时报错“Failed to obtain the database”怎么办？ 为什么权限同步到DLI中，会提示权限不够？
时间过滤 参数位置：在创建表/文件迁移作业时，如果源端数据源为文件类型，那么源端作业配置下的高级属性中，“时间过滤”参数选择“是”。 参数原理：“起始时间”和“终止时间”参数中输入时间值后，只有修改时间介于起始时间和终止时间之间（时间区间为左闭右开，即等于起始时间也在区间之内）的文件才会被CDM迁移。
pt SDK包中的demo.html手动生成签名后，再使用API工具调用。 （推荐）通过SDK调用APP认证方式的API 通过API工具调用APP认证方式的API 推荐使用APP认证+SDK调用方式，帮助您简单、快速地通过数据API获取到开放数据。 IAM认证 中 通过IAM应用
等权限，详细请参见配置DLI云服务委托权限。 搜索并进入DLI云服务控制台。 在DLI控制台左侧导航栏中单击“全局配置 > 服务授权”。 在委托设置页面，“管理相关委托设置”中勾选“跨源场景”权限，并单击“更新委托权限”。 查看并了解更新委托的提示信息，单击“确定”。完成DLI委托权限的更新。
件。 事件状态： 新发现：基线监控的任务产生变慢或者失败。 已恢复：超过基线任务的承诺完成时间，但基线任务最终完成。 处理中：基线运行产生的该条事件正在处理中。 已忽略：基线运行产生的该条事件已忽略。 单击“事件标识”，进入“事件详情”界面，用户可以查看事件的详细信息。 父主题：
时间过滤 参数位置：在创建表/文件迁移作业时，如果源端数据源为文件类型，那么源端作业配置下的高级属性中，“时间过滤”参数选择“是”。 参数原理：“起始时间”和“终止时间”参数中输入时间值后，只有修改时间介于起始时间和终止时间之间（时间区间为左闭右开，即等于起始时间也在区间之内）的文件才会被CDM迁移。
2 3 4 5 // 认证用的ak和sk编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全； // 本示例以ak和sk保存在环境变量中来实现身份验证为例，运行本示例前请先在本地环境中设置环境变量SDK_AK和SDK_SK。 char*
ams); // 认证用的ak和sk编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全； // 本示例以ak和sk保存在环境变量中来实现身份验证为例，运行本示例前请先在本地环境中设置环境变量SDK_AK和SDK_SK。 char*
场景。 选择“是”时，如果源端数据表中的某一个字段内容包含字段分隔符或换行符，写入目的端时CDM会使用双引号（"）作为包围符将该字段内容括起来，作为一个整体存储，避免其中的字段分隔符误将一个字段分隔成两个，或者换行符误将字段换行。例如：数据库中某字段为hello,world，使用
文件、jar包或者软件）打包到镜像中，生成自己的自定义镜像，然后将镜像发布到SWR（容器镜像服务）中，最后在此选择自己生成的镜像，运行作业。 自定义镜像可以改变Spark作业和Flink作业的容器运行环境。用户可以将一些私有能力内置到自定义镜像中，从而增强作业的功能、性能。关于自定义镜像的更多详情，请参见自定义镜像。
如果勾选了空跑，该节点不会实际执行，将直接返回成功。 任务组 否 选择任务组。任务组配置好后，可以更细粒度的进行当前任务组中的作业节点的并发数控制，比如作业中包含多个节点、补数据、重跑等场景。 表3 血缘关系 参数 说明 输入 新建 单击“新建”，在“类型”的下拉选项中选择要新建
在左侧导航栏选择专享版，进入总览页。 进入“开发API > API管理”页面。确保待更新版本的API为已发布状态后，在API服务列表操作列中，选择“编辑”。 在API编辑界面，您可以修改API的基础配置或取数逻辑，例如API目录、描述、请求方式、入参、取数方式等，注意API名称、
通过CDM将H公司存量数据上传到对象存储服务OBS。 通过CDM作业的定时任务，每天自动上传增量数据到OBS。 使用DLI分析数据 通过DLI直接分析OBS中的业务数据，支撑H公司客户进行贸易统计分析。 父主题： 贸易数据极简上云与统计分析
后面的按钮可进入数据库选择界面。 dbadmin 表名 单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
