检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集群管理 在“连接管理”页签中，单击“新建连接”，分别创建Oracle数据连接和MRS Hive数据连接，详情请参见新建Oracle数据连接和新建MRS Hive数据连接。 在“表/文件迁移”页签中，单击“新建作业”，创建数据迁移作业。 配置Oracle源端参数、MRS hive目的端参数，并配置传递参数，参数形式为
数据开发概述 数据开发是一个一站式的大数据协同开发平台，提供全托管的大数据调度能力。它可管理多种大数据服务，极大降低用户使用大数据的门槛，帮助您快速构建大数据处理中心。 数据开发模块曾被称为数据湖工厂（Data Lake Factory，后简称DLF）服务，因此在本文中，“数据湖
/：相除 ==：等于 !=：不等于 >：大于 <：小于 >=：大于等于 <=：小于等于 !：非 ||：或 &&：与 abs：绝对值 例如，对账作业的来源侧和目的侧的“规则模板”为“表行数”时，您可以参考如下样例进行配置： 需要配置来源侧表行数小于100时告警，则此处可设置为“${1_1}
开发者作为任务开发与处理的人员，需要开发脚本、开发作业等，相关操作如下表所示。 表1 开发者操作 操作 说明 脚本开发 选择开发环境的数据湖引擎，在开发环境下的调测并发布数据开发脚本，发布到生产环境后系统会自动替换为对应生产环境引擎。 具体请参见脚本开发。 作业开发 选择开发环境的数据湖引擎，
动清理更早删除的数据。 数据还原操作时，如果“同名处理方式”参数配置为“名称添加时间戳”，则如果同名会在还原数据的原名称后添加时间戳信息（原名称_13位时间戳）。如果添加时间戳后总长度超过64，会对原名称进行截断操作，确保总长度不会超出64的限制。 从回收站还原被误删的权限集时，
脱敏。 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。 单击“默认项设置”，可设置“展示层脱敏配置”配置项。 配置是否开启展示层脱敏配置。 是：表示在进行脚本、作业开发查询的时候，在对表数据预览的时候，会按照数据安全配置的敏感数据发现和脱敏规则，对结果数据前端页面展示进行敏感信息脱敏操作。
Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 在脚本目录中，双击脚本名称，进入脚本开发页面。 在编辑器上方，配置执行Python脚本的Python版本和主机连接。
对构造好的规范请求进行哈希处理，算法与对RequestPayload哈希处理的算法相同。经过哈希处理的规范请求必须以小写十六进制字符串形式表示。 算法伪代码：Lowercase(HexEncode(Hash.SHA256(CanonicalRequest))) 经过哈希处理的规范请求示例：
“_”、“.”，且长度为1～128个字符。 作业类型 选择作业的类型，须选择实时处理。 离线处理：对已收集的大量数据进行批量处理和分析，这些任务通常是在计算资源和存储资源方面经过优化，以确保高效的数据处理和分析。这些任务通常是定时（例如每天、每周）执行，主要处理大量历史数据，用于批量分析和数据仓库。
支持的数据类型 配置字段映射时，数据源支持的数据类型请参见表1，以确保数据完整导入到目的端。 表1 支持的数据类型 数据连接类型 数据类型说明 MySQL 请参见MySQL数据库迁移时支持的数据类型。 SQL Server 请参见SQL Server数据库迁移时支持的数据类型。 Oracle
产品优势 一站式数据运营平台 贯穿数据全流程的一站式治理运营平台，提供全域数据集成、标准数据架构、连接并萃取数据价值、全流程数据质量监控、统一数据资产管理、数据开发服务等，帮助企业构建完整的数据中台解决方案。 全链路数据治理管控 数据全生命周期管控，提供数据架构定义及可视化的模型
name 是 String 作业名称。 jobType 是 String 作业类型。 REAL_TIME：实时处理 BATCH ：批处理 owner 否 String 作业责任人，长度不能超过128个字符。 priority 否 int 作业优先级，取值范围[0, 2]，默认值是0。0代
导出包含API的EXCEL文件，大小必须小于4MB。 状态码： 400 表5 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 请求示例 导出包含API信息的EXCEL文件。 /v1/0833a57
”按钮，对已分配配额进行配置。配置完成后单击“保存”，保存当前配置。 已分配配额表示分配给当前工作空间下可使用的配额。注意，已分配配额不能小于已使用配额，不能大于未分配配额（即总配额-总分配配额）。 数据服务专享版在每个DataArts Studio实例下具有创建10个专享版AP
Studio管理控制台。 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”或“数据开发 > 作业开发”。 在左侧目录上方，单击解决方案图标，显示解决方案目录。 单击解决方
上传导入的文件接口 功能介绍 该接口用于数据质量导入文件使用。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/quality/resource/upload 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
Hive中的点表和边表，生成xml格式元数据文件到 OBS桶中。 说明： 请至少输入元数据、边数据集与点数据集中的其中一个字段。 元数据 否 根据“元数据来源”的选择，本参数有不同的填写方式。 如果元数据来源为已有文件，单击输入框中的并选择对应的元数据文件 。 如果元数据来源为新建元数据，单击输入框中的，进入新建元数据的界面，分别选择MRS
单击“选择主题”选择所属的主题信息。 *表名称 表的名称。 只允许除\、<、>、%、"、'、;及换行符以外的字符。 说明： 物理模型表字段中文名长度不能超过200个字符。 *表英文名称 表的英文名称。只能包含英文字母、数字、下划线、$、{、}，且不能以数字开头。 *数据连接类型 系统默
-p “输入参数1和参数2”变量1 变量2 节点名称 是 节点名称，只能包含英文字母、数字、中文字符、中划线、下划线、/、<>和点号，且长度小于等于128个字符。 默认情况下，节点名称会与选择的脚本名称保持同步。若不需要节点名称和脚本名称同步，请参考禁用作业节点名称同步变化禁用该功能。
有MRS所有权限。 KMS Administrator：数据加密服务加密密钥的管理员权限。 MRS Spark SQL、MRS Hive SQL、MRS Kafka、Kafka Client（通过代理方式连接集群） DAYU Administrator KMS Administrator
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
