检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据开发是编排、调度和运维的中心，数据开发是一个提供分析、设计、实施、部署及维护一站式数据解决方案，完成数据加工、转换和质量提升等。数据开发屏蔽了各种数据存储的差异，一站式满足从数据集成、数据清洗/转换、数据质量监控等全流程的数据处理，是数据治理实施的主战场。 数据质量 数据质量管理的目标在于保
用户也可以单击“新建”，创建新的Agent，创建完成后单击“刷新”，选择新的Agent即可。 索引 用于存储Elasticsearch的数据，类似关系型数据库的Database。是一个或多个分片分组在一起的逻辑空间。 GES 选择图 选择存储了以“关系”为基础的结构数据的图。 绑定Agent 请选择由CDM集群提供的Agent。
据（例如：贸易详单数据和基础信息数据），基于CDM+OBS+DLI完成贸易统计分析。 图1 场景方案 DLI创建OBS外表，对OBS表数据存储格式有所要求： 使用DataSource语法创建OBS表时，支持orc，parquet，json，csv，carbon，avro类型。 使
Oracle 连接Oracle数据库时，具体参数请参见Oracle数据库连接参数说明。 分库 连接达梦数据库时，具体参数请参见分库连接参数说明。 对象存储服务（OBS） 连接OBS时，具体参数请参见OBS连接参数说明。 MRS HDFS FusionInsight HDFS Apache HDFS
”，且长度为1～128个字符。 作业类型 选择作业的类型，须选择实时处理。 离线处理：对已收集的大量数据进行批量处理和分析，这些任务通常是在计算资源和存储资源方面经过优化，以确保高效的数据处理和分析。这些任务通常是定时（例如每天、每周）执行，主要处理大量历史数据，用于批量分析和数据仓库。 实
CDM通过该连接，将作业备份到OBS，需要用户提前在“连接管理”界面创建好OBS连接。 obslink OBS桶 存储备份文件的OBS桶。 cdm 备份数据目录 存储备份文件的目录。 /cdm-bk/ 恢复作业 如果之前执行过自动备份，“配置管理”页签下会显示备份列表：显示备份文件所在的OBS桶、路径、备份时间。
自定义：支持用户指定目的端表名，也支持通过内置参数#{source_table_name}给源表名添加前后缀，变成目的端Hudi表的表名。 目标数据源配置： 数据存储路径：Hudi数据存储的基础路径，只对自动建表生效。每张目的端表会在基础路径下创建子目录，支持HDFS或OBS路径。 OBS格式：obs://{桶名}。
如果测试不可用，需要重新检查连接参数是否配置正确，或者H公司防火墙是否允许CDM集群的EIP访问数据源。 单击“新建连接”来创建OBS连接，连接类型选择“对象存储服务（OBS）”后单击“下一步”，配置OBS连接参数，如图3所示。 图3 创建OBS连接 名称：用户自定义连接名称，例如“obslink”。
层级，右键单击表名称，选择“查看表详情”，可查看如表4所示的数据表信息。 表4 表详情页面 页签名称 说明 表信息 显示数据表的基本信息和存储信息。 字段信息 显示数据表的字段信息。 数据预览 预览数据表的10条记录。 DDL 显示DLI/DWS/MRS Hive数据表的DDL。
当“开启LDAP认证”参数选择为“是”时，此参数是必选项。 填写为MRS Hive开启LDAP认证时配置的密码。 - OBS支持 需服务端支持OBS存储。在创建Hive表时，您可以指定将表存储在OBS中。 否 访问标识(AK) 当“OBS支持”参数选择为“是”时，此参数是必选项。请注意，此处AK/SK对应的账号应具备OBS
“_”，且长度为1~64个字符。 描述 为更好的识别业务规则，此处加以描述信息。描述信息长度不能超过4096个字符。 所属目录 业务规则的存储目录，可选择已创建的目录。目录创建请参见图1。 定义关系 关系是定义指标和数值间或者指标和指标间的逻辑表达式，可以包含算术运算。指标使用小
Studio数据开发的作业日志默认存储在以“dlf-log-{projectId}”命名的OBS桶中，{projectId}即项目ID。 DLI脏数据OBS路径 用于指定DataArts Studio数据开发中DLI SQL执行过程中的脏数据存储的OBS桶。工作空间成员如需使用DataArts
数据治理中心(DataArts Studio)是数据全生命周期一站式开发运营平台，提供数据集成、数据开发、数据治理、数据服务等功能，支持行业知识库智能化建设，支持大数据存储、大数据计算分析引擎等数据底座，帮助企业客户快速构建数据运营能力。 产品介绍 产品介绍 立即使用 成长地图 由浅入深，带您玩转DataArts
元数据按用途的不同，可以分为两类：技术元数据（Technical Metadata）和业务元数据（Business Metadata）。 技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管理数据仓库使用的数据。在DataArts Studio中，技术元数据即为技术资产，显示数据库、数据表、数据量的数量及其详情。
fromJobConfig.inputDirectory 是 String 待抽取文件的URL。 用于读取一个公网HTTP/HTTPS URL的文件，包括第三方对象存储的公共读取场景和网盘场景。 fromJobConfig.inputFormat 是 枚举 传输数据时所用的文件格式，目前只支持二进制格式。
该功能由目的端作业参数“校验MD5值”控制，读取文件后写入OBS时，通过HTTP Header将MD5值提供给OBS做写入校验，并将校验结果写入OBS桶（该桶可以不是存储迁移文件的桶）。如果源端没有MD5文件则不校验。 迁移文件到文件系统时，目前只支持校验CDM抽取的文件是否与源文件一致（即只校验抽取的数据）。
当数据源为DLI时，需要选择运行的队列。 描述 为更好的识别业务指标 ，此处加以描述信息。描述信息长度不能超过4096个字符。 所属目录 业务指标的存储目录，可选择已创建的目录。目录创建请参见图1。 来源类型 支持“自定义”。 用户自定义SQL语句，定义指标的来源。 父主题： 业务指标监控（待下线）
失败。 - 端口 数据传输协议端口，https是443，http是80。 443 OBS桶类型 用户下拉选择即可，一般选择为“对象存储”。 对象存储 访问标识(AK) AK和SK分别为登录OBS服务器的访问标识与密钥。 您需要先创建当前账号的访问密钥，并获得对应的AK和SK。 您可以通过如下方式获取访问密钥。
该功能由目的端作业参数“校验MD5值”控制，读取文件后写入OBS时，通过HTTP Header将MD5值提供给OBS做写入校验，并将校验结果写入OBS桶（该桶可以不是存储迁移文件的桶）。如果源端没有MD5文件则不校验。 迁移文件到文件系统时，目前只支持校验CDM抽取的文件是否与源文件一致（即只校验抽取的数据）。
自定义：支持用户指定目的端表名，也支持通过内置参数#{source_table_name}给源表名添加前后缀，变成目的端Hudi表的表名。 目标数据源配置： 数据存储路径：Hudi数据存储的基础路径，只对自动建表生效。每张目的端表会在基础路径下创建子目录，支持HDFS或OBS路径。 OBS格式：obs://{桶名}。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
