检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当由于网络限制，Rest Client某些API无法调通时，可以尝试使用Shell脚本进行API调用。您需要拥有弹性云服务器ECS，并确保ECS主机和待调用的API之间网络可通，然后在DataArts Studio创建主机连接，通过Shell脚本使用CURL命令进行API调用。
数据开发组件中已提交版本的脚本和作业。导出作业时默认只导出作业，不包含其依赖的脚本和资源。 数据架构组件中创建的主题、流程、码表、数据标准、关系建模模型、维度、业务指标、原子指标、衍生指标、复合指标和汇总表，不包含事实表。
在“数据开发 > 脚本开发”模块中创建一个DWS SQL脚本，脚本名称为“dws_sql”。
SQL脚本 在“SQL脚本”参数后选择需要执行的脚本。如果脚本未创建，请参考新建脚本和开发SQL脚本先创建和开发脚本。关联的SQL脚本如果使用了参数，此处显示参数名称，请在参数名称后的输入框配置参数值。参数值支持使用EL表达式。
开发者：开发者需要在数据开发的开发环境，进行脚本、作业开发等操作，开发完成后进行测试运行、提交版本，最终提交发布任务。 部署者：部署者需要在数据开发的开发环境，查看待审批任务，并进行发布审批操作。
脚本调试无误后，单击“保存并提交版本”提交该脚本，脚本名称为“top_rating_movie”。在后续开发并调度作业引用该脚本。 脚本保存完成且运行成功后，您可通过如下SQL语句查看top_rating_movie表数据。您还可以参考图3，下载或转储表数据。
- - 脚本开发 表3 脚本开发 API 说明 API流量限制（次/s） 用户流量限制（次/s） 创建脚本 创建一个新脚本。 300 30 修改脚本内容 本接口用以修改脚本的配置项或者脚本内容。 300 30 查询脚本信息 此接口可以查询指定脚本的定义，包括脚本类型和脚本内容。
脚本调试无误后，单击“保存”保存该脚本，脚本名称为“top_like_product”。单击“提交”，提交脚本版本。在后续开发并调度作业会引用该脚本。 脚本保存完成且运行成功后，您可通过如下SQL语句查看top_like_product表数据。
创建脚本失败。 请检查脚本。 400 DLF.0202 The script name has been used by another script. 脚本名称已经被其他脚本占用。 请检查脚本名称是否被占用。
开发Hive SQL脚本 在“数据开发 > 脚本开发”模块中创建一个Hive SQL脚本，脚本名称为“hive_sql”。在编辑器中输入SQL语句，通过SQL语句来实现业务需求。 图1 开发脚本 关键说明： 图1中的脚本开发区为临时调试区，关闭脚本页签后，开发区的内容将丢失。
配置软硬锁策略 脚本/作业开发 作业或脚本的抢锁操作依赖于软硬锁处理策略。 脚本变量定义 脚本开发 脚本变量的格式定义。SQL脚本的变量格式有${}和${dlf.}两种。 配置数据导出策略 脚本/作业开发 对SQL执行结果框中的数据配置下载或转储的策略。
表1 属性参数 参数 是否必选 说明 SQL或脚本 是 可以选择SQL语句或SQL脚本。 SQL语句 单击“SQL语句”参数下的文本框，在“SQL语句”页面输入需要执行的SQL语句。 SQL脚本 在“SQL脚本”参数后选择需要执行的脚本。
DES迁移一个月前的历史数据 迁移流程 通过脚本将一个月前的历史数据导入到DES盒子。DES盒子的相关操作请参见数据快递服务 DES。 DES将数据快递到华为云数据中心。 使用华为云CDM将DES中的数据迁移到华为云OBS。 使用华为云CDM将OBS数据迁移到MRS。
丰富的数据开发类型 支持多人在线协作开发，脚本开发可支持SQL、Shell在线编辑、实时查询；作业开发可支持CDM、SQL、MRS、Shell、Spark等多种数据处理节点，提供丰富的调度配置策略与海量的作业调度能力。
当源端数据文件同一目录下有对应后缀的保存md5值的文件，例如build.sh和build.sh.md5在同一目录下。若配置了“MD5文件名后缀”，则只迁移有MD5值的文件至目的端，没有MD5值或者MD5不匹配的数据文件将迁移失败，MD5文件自身不被迁移。
在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 单击，进入连接目录列表。 在连接目录中，右键单击对应的连接，选择“查看引用”，弹出“引用列表”窗口。 在引用列表窗口，可以查看该连接被作业或脚本引用的情况。 图1 引用列表 父主题： 数据管理
数据管理流程 数据管理功能可以协助用户快速建立数据模型，为后续的脚本和作业开发提供数据实体。通过数据管理，您可以： 支持管理DWS、MRS Hive、DLI等多种数据湖。 支持可视化和DDL方式管理数据库表。
SQL脚本 在“SQL脚本”参数后选择需要执行的脚本。如果脚本未创建，请参考新建脚本和开发SQL脚本先创建和开发脚本。 说明： 若选择SQL语句方式，数据开发模块将无法解析您输入SQL语句中携带的参数。
脚本语法校验 script checkSyntax 提交脚本版本 script addNewVersion 抢脚本锁 script acquireScriptLock 解脚本锁 script releaseScriptLock 批量解脚本锁 script batchReleaseScriptLock
SQL脚本 在“SQL脚本”参数后选择需要执行的脚本。如果脚本未创建，请参考新建脚本和开发SQL脚本先创建和开发脚本。关联的SQL脚本如果使用了参数，此处显示参数名称，请在参数名称后的输入框配置参数值。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
