检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持按文件分片。 HTTP 支持按文件分片。 关系型数据库 云数据库 MySQL 支持按表字段分片。 仅当配置“按表分区抽取”时，按表分区分片。 云数据库 PostgreSQL 支持按表字段分片。 仅当配置“按表分区抽取”时，按表分区分片。 云数据库 SQL Server 支持按表字段分片。
约束条件 已完成新建数据连接的操作。 已完成新建数据库的操作。 使用案例 创建SQL脚本 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 创建一个SQL脚本。本案例以MRS SPARK SQL为例。 选择已创建好的数据连接和数据库。 编写SQL脚本，从源表table1这张数据表里面获取最大时间值数据。
Python版本，例如Python3。如果脚本未创建，请参考新建脚本和开发Python脚本先创建和开发脚本。 说明： 若选择Python语句方式，数据开发模块将无法解析您输入Python语句中携带的参数。 若选择Python脚本方式，系统自动默认显示的Python版本为创建Python脚本时所选择的Python版本。
载体，并对应发布各数据层级的数据标准。各业务对象对应物理实现的IT系统需发布相应的数据字典并进行数据源认证。而对于梳理出来，但没有落IT系统的业务对象，需在后继的开发中进行数字化落地。 数据开发 数据开发是编排、调度和运维的中心，数据开发是一个提供分析、设计、实施、部署及维护一站
权限的所有用户的资源权限。 申请表/列权限 当前版本仅支持DLI数据表权限控制。 因申请表/列权限，需要审批人审批后方生效。所以申请表/列权限前，请先参见•管理审批人新建审批人。 在DataArts Studio控制台首页，选择对应工作空间的“数据目录”模块，进入数据目录页面。 选择“数据权限
SQL节点属性说明 参数名 是否必选 参数类型 说明 scriptName 是 String 脚本名称 database 否 String 数据库名称 MRS Hive中的数据库，默认default。 connectionName 否 String 连接名称 scriptArgs 否
能运营平台，帮助企业快速构建数据运营能力。 优势 多种云服务作业编排 全链路数据治理管控 丰富数据引擎支持 支持对接所有华为云的数据湖与数据库云服务，也支持对接企业传统数据仓库，比如Oracle等。 简单易用 图形化编排，即开即用，轻松上手。 图1 一站式数据运营治理平台 云上数据平台快速搭建
式，单任务作业可以直接在SQL编辑器中调测脚本并进行调度配置。 说明： 单任务Flink SQL目前支持的MRS集群版本是MRS 3.2.0-LTS.1及以上版本。 选择目录 选择作业所属的目录，默认为根目录。 责任人 填写该作业的责任人。 作业优先级 选择作业的优先级，提供高、中、低三个等级。
Studio数据目录模块中，您可以查看数据地图，详情请参见数据目录章节。数据地图包含业务资产和技术资产，业务资产就是指逻辑实体和业务对象，技术资产就是指数据连接、数据库对象等。 本章节介绍如何在DataArts Studio数据目录中查看业务资产和技术资产。例如，在技术资产的事实表中，您可以查看数据血缘等
如何处理API对应的数据表数据量较大时，获取数据总条数比较耗时的问题？ 问题场景 创建API时，已打开“返回总条数”开关。当API对应的数据表数据量较大时，获取数据总条数比较耗时。 图1 返回总条数 解决方案 在分页查询时，您可以通过参数（参数名use_total_num）控制是否计算并返回数据总条数。
Studio与MRS Hive数据湖的连接 新建DataArts Studio与DWS数据湖的连接 新建DataArts Studio与MySQL数据库的连接 父主题： 管理中心
配置Oracle目的端参数 作业中目的连接为Oracle数据库连接时，目的端作业参数如表1所示。 表1 Oracle作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称，支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。
Studio数据开发模块或对应数据湖产品的SQL编辑器上，开发并执行用于创建数据表的SQL脚本，从而创建数据表。 本章节以可视化模式和DDL模式为例，介绍如何在数据开发模块新建数据表。 前提条件 已创建数据库及DWS数据库模式，请参见新建数据库和（可选）新建数据库模式。 已在数据开发模
作业配置完毕后，单击作业开发页面左上角“保存”按钮，保存作业的配置信息。 保存后，在右侧的版本里面，会自动生成一个保存版本，支持版本回滚。保存版本时，一分钟内多次保存只记录一次版本。对于中间数据比较重要时，可以通过“新增版本”按钮手动增加保存版本。 测试运行作业。 作业配置完毕后，单击作业开发页面左上角“测
运行完成后，单击画布上方的保存按钮，保存作业的配置信息。 保存后，在右侧的版本里面，会自动生成一个保存版本，支持版本回滚。保存版本时，一分钟内多次保存只记录一次版本。对于中间数据比较重要时，可以通过“新增版本”按钮手动增加保存版本。 模板 在开发Flink SQL单任务实时处理作业时，系统支
String 开发环境版本，只读，ID字符串。 prod_version String 生产环境版本，只读，ID字符串。 dev_version_name String 开发环境版本名称，只读。。 prod_version_name String 生产环境版本名称，只读。。 env_type
String 开发环境版本，只读，ID字符串。 prod_version String 生产环境版本，只读，ID字符串。 dev_version_name String 开发环境版本名称，只读。。 prod_version_name String 生产环境版本名称，只读。。 env_type
单击“发布”，在提交发布对话框中，选择发布的版本类型，重新设置版本名称，并确认发布。 图6 发布新版本 提交发布后，单击操作列的“发布历史”，可以查看该规则模板的发布记录，支持查看版本变化信息、修改版本名称、下线对应版本等。 图7 发布历史界面 如需下线历史版本，单击历史版本最右侧的“下线”按钮。 如果该版本没有关联作业，单击确认即可下线。
Studio数据连接参数。 *数据库 选择数据库。如果您还未创建数据库，可以前往DataArts Studio数据开发控制台进行创建，详情请参见新建数据库。 队列 DLI队列。该参数仅DLI连接类型有效 Schema DWS或POSTGRESQL的模式。该参数在DWS或POSTGRESQL连接类型有效。
在企业模式中，开发者提交脚本或作业版本后，系统会对应产生发布任务。开发者确认发包后，需要部署者审批通过，才能将修改后的作业同步到生产环境。 前提条件 开发者已完成脚本任务发布或作业任务发布。 操作步骤 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
