检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置开发和生产环境的数据连接后，数据开发时脚本/作业中的开发环境数据连接通过发布流程后，将自动切换对应生产环境的数据连接。 约束限制 RDS数据连接方式依赖于OBS。如果没有与DataArts Studio同区域的OBS，则不支持RDS数据连接。
数据开发，包含创建DLI SQL脚本和开发作业。 分析10大用户关注最多的产品 分析10大用户评价最差的商品 开发并调度作业，通过编排作业和配置作业调度策略，定期执行作业，使得用户可以每天获取到最新的数据分析结果。
当多个数据连接共用同一Agent时，通过这些数据连接提交SQL作业、Shell脚本、Python脚本等任务的同时运行上限为200。
当由于网络限制，Rest Client某些API无法调通时，可以尝试使用Shell脚本进行API调用。您需要拥有弹性云服务器ECS，并确保ECS主机和待调用的API之间网络可通，然后在DataArts Studio创建主机连接，通过Shell脚本使用CURL命令进行API调用。
即当多个数据连接共用同一Agent时，通过这些数据连接提交SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200，超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。
数据开发组件中已提交版本的脚本和作业。导出作业时默认只导出作业，不包含其依赖的脚本和资源。 数据架构组件中创建的主题、流程、码表、数据标准、关系建模模型、维度、业务指标、原子指标、衍生指标、复合指标和汇总表，不包含事实表。
在“数据开发 > 脚本开发”模块中创建一个DWS SQL脚本，脚本名称为“dws_sql”。
- - 脚本开发 表3 脚本开发 API 说明 API流量限制（次/s） 用户流量限制（次/s） 创建脚本 创建一个新脚本。 300 30 修改脚本内容 本接口用以修改脚本的配置项或者脚本内容。 300 30 查询脚本信息 此接口可以查询指定脚本的定义，包括脚本类型和脚本内容。
开发者：开发者需要在数据开发的开发环境，进行脚本、作业开发等操作，开发完成后进行测试运行、提交版本，最终提交发布任务。 部署者：部署者需要在数据开发的开发环境，查看待审批任务，并进行发布审批操作。
SQL脚本 在“SQL脚本”参数后选择需要执行的脚本。如果脚本未创建，请参考新建脚本和开发SQL脚本先创建和开发脚本。关联的SQL脚本如果使用了参数，此处显示参数名称，请在参数名称后的输入框配置参数值。参数值支持使用EL表达式。
脚本调试无误后，单击“保存并提交版本”提交该脚本，脚本名称为“top_rating_movie”。在后续开发并调度作业引用该脚本。 脚本保存完成且运行成功后，您可通过如下SQL语句查看top_rating_movie表数据。您还可以参考图3，下载或转储表数据。
DES迁移一个月前的历史数据 迁移流程 通过脚本将一个月前的历史数据导入到DES盒子。DES盒子的相关操作请参见数据快递服务 DES。 DES将数据快递到华为云数据中心。 使用华为云CDM将DES中的数据迁移到华为云OBS。 使用华为云CDM将OBS数据迁移到MRS。
丰富的数据开发类型 支持多人在线协作开发，脚本开发可支持SQL、Shell在线编辑、实时查询；作业开发可支持CDM、SQL、MRS、Shell、Spark等多种数据处理节点，提供丰富的调度配置策略与海量的作业调度能力。
配置软硬锁策略 脚本/作业开发 作业或脚本的抢锁操作依赖于软硬锁处理策略。 脚本变量定义 脚本开发 脚本变量的格式定义。SQL脚本的变量格式有${}和${dlf.}两种。 配置数据导出策略 脚本/作业开发 对SQL执行结果框中的数据配置下载或转储的策略。
开发Hive SQL脚本 在“数据开发 > 脚本开发”模块中创建一个Hive SQL脚本，脚本名称为“hive_sql”。在编辑器中输入SQL语句，通过SQL语句来实现业务需求。 图1 开发脚本 关键说明： 图1中的脚本开发区为临时调试区，关闭脚本页签后，开发区的内容将丢失。
创建脚本失败。 请检查脚本。 400 DLF.0202 The script name has been used by another script. 脚本名称已经被其他脚本占用。 请检查脚本名称是否被占用。
在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 单击，进入连接目录列表。 在连接目录中，右键单击对应的连接，选择“查看引用”，弹出“引用列表”窗口。 在引用列表窗口，可以查看该连接被作业或脚本引用的情况。 图1 引用列表 父主题： 数据管理
脚本调试无误后，单击“保存”保存该脚本，脚本名称为“top_like_product”。单击“提交”，提交脚本版本。在后续开发并调度作业会引用该脚本。 脚本保存完成且运行成功后，您可通过如下SQL语句查看top_like_product表数据。
数据管理流程 数据管理功能可以协助用户快速建立数据模型，为后续的脚本和作业开发提供数据实体。通过数据管理，您可以： 支持管理DWS、MRS Hive、DLI等多种数据湖。 支持可视化和DDL方式管理数据库表。
SQL脚本 在“SQL脚本”参数后选择需要执行的脚本。如果脚本未创建，请参考新建脚本和开发SQL脚本先创建和开发脚本。 说明： 若选择SQL语句方式，数据开发模块将无法解析您输入SQL语句中携带的参数。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
