检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
'2022-02-27'); 开发一个补数据的脚本。开发脚本时，脚本表达式里面必须包含时间变量（例如，SQL中变量是DATE，脚本中就写${DATE}）。在作业参数配置里面，您可以在3中编写脚本参数DATE的语句表达式。 在“脚本开发”界面，在编辑器中输入开发语句。 INSERT
已完成新建数据连接的操作。 已完成新建数据库的操作。 使用案例 创建SQL脚本 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 创建一个SQL脚本。本案例以MRS SPARK SQL为例。 选择已创建好的数据连接和数据库。 编写SQL脚本，从源表table1这张数据表里面获取最大时间值数据。
'2022-02-27'); 开发一个补数据的脚本。开发脚本时，脚本表达式里面必须包含时间变量（例如，SQL中变量是DATE，脚本中就写${DATE}）。在作业参数配置里面，您可以在3中编写脚本参数DATE的语句表达式。 在“脚本开发”界面，在编辑器中输入开发语句。 INSERT
数据服务API接口，访问“测试APP”，填写了相关参数，但是后台报错要怎么处理？ 可能原因 未配置参数header parameter。 解决方案 在调用API时配置参数header parameter。 header parameter: x-Authorization, nvalid
ion=测试 { "api_type" : "API_SPECIFIC_TYPE_SCRIPT", "publish_status" : "PUBLISHED", "create_user" : "admin", "description" : "测试" } 响应示例
Shell或脚本 是 可以选择Shell语句或Shell脚本。 Shell语句 单击“Shell语句”参数下的文本框，在“Shell语句”页面输入需要执行的Shell语句。 Shell脚本 在“脚本路径”参数后选择需要执行的脚本。如果脚本未创建，请参考新建脚本和开发Shell脚本先创建和开发脚本。
新建数据库 数据连接创建完成后，您可以基于数据连接，通过可视化模式或SQL脚本方式新建数据库。 （推荐）可视化模式：您可以直接在DataArts Studio数据开发模块通过No Code方式，新建数据库。 SQL脚本方式：您也可以在DataArts Studio数据开发模块或对应数据
些数据连接提交SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200，超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 在调度Shell、Python脚本时，Agent会访问ECS主机，如果Shell、Python脚本的调度频率很高，ECS
管理员：管理员需要进行准备数据湖、配置数据连接和环境隔离、数据的导入导出、配置项目用户权限等操作。 开发者：开发者需要在数据开发的开发环境，进行脚本、作业开发等操作，开发完成后进行测试运行、提交版本，最终提交发布任务。 部署者：部署者需要在数据开发的开发环境，查看待审批任务，并进行发布审批操作。 运维者
如未创建，请参考新建数据表进行操作。 操作步骤 新建和开发SQL脚本。 在数据开发模块控制台的左侧导航栏，进入“数据开发 > 脚本开发”，选择“新建DLI SQL脚本”。 进入SQL脚本开发页面，在脚本属性栏选择“数据连接”、“数据库”、“资源队列”。 图1 脚本属性 在脚本编辑器中输入以下SQL语句。 INSERT
您可以通过可视化模式、DDL模式或SQL脚本方式新建数据表。 （推荐）可视化模式：您可以直接在DataArts Studio数据开发模块通过No Code方式，新建数据表。 （推荐）DDL模式：您可以在DataArts Studio数据开发模块，通过选择DDL方式，使用SQL语句新建数据表。 SQL脚本方式：您也可以在DataArts
作业未提交版本之前，进行手动测试运行，作业监控里面的作业运行实例版本显示是0。 进行手动测试运行时，作业测试运行日志查看有权限管控，比如，用户A进行作业测试运行后，可以在“实例监控”页面查看测试运行日志，不允许用户B查看该测试运行日志。 测试通过后，单击画布上方的“保存”，保存作业的配置信息。
配置默认的OBS路径。 此处配置的OBS路径，是脚本开发或者单任务作业开发时测试运行结果的默认转储OBS路径。配置成功后，后续转储运行结果时，将默认使用此次配置的OBS路径进行转储；已转储的运行结果路径不会改变，请以列表中返回路径为准。 单击“确定”。 查看脚本执行的结果 选择“数据开发 > 下载中心”进入“下载中心”页面。
随意编辑、保存、运行脚本/作业，不会影响调度中的脚本/作业；另外在作业关联脚本、配置作业依赖时，被关联的脚本/作业均会读取开发态的配置。 生产态：提交后版本的脚本/作业为生产态，用于正式调度。在正式调度中，调用脚本、实例重跑、作业依赖、补数据等场景均是关联脚本/作业最新的已提交版本。
hon/zt_test_sparkPython1.py 其中：zt_test_sparkPython1.py 为脚本所在路径 单击“测试运行”，执行该脚本作业。 待测试完成，执行“提交”。 在“作业监控”界面，查看作业执行结果。 图8 查看作业执行结果 日志验证。 运行成功后，登录MRS
导入结果确认 导入脚本 单击左侧导航上的“脚本开发”，进入脚本目录。 单击脚本目录中的，选择“导入脚本”。 图14 选择导入脚本 在弹出的导入脚本窗口中，“文件位置”选择为“本地”，选择从旧空间导出的脚本文件，“重名处理策略”默认选择“覆盖”，单击下一步。 图15 导入脚本 脚本开始导入，导入成功后系统会显示导入的脚本名。
选择需要执行的Flink SQL脚本。如果脚本未创建，请参考新建脚本和开发SQL脚本创建和开发Flink SQL脚本。 脚本参数 否 关联的Flink SQL脚本如果使用了参数，此处显示参数名称，请在参数名称后的输入框配置参数值。参数值支持使用EL表达式。 若关联的Flink SQL脚本，脚本参数发生变化，可单击刷新按钮同步。
备份管理 每日备份在每日0点开始备份昨日的所有作业、脚本、资源和环境变量，启动当日不会备份昨日的作业、脚本、资源和环境变量。 选择OBS存储路径时，若仅选择至桶名层级，则备份对象自动存储在以“备份日期”命名的文件夹内。环境变量，资源，脚本和作业分别存储在1_env,2_resources
开发者作为任务开发与处理的人员，需要开发脚本、开发作业等，相关操作如下表所示。 表1 开发者操作 操作 说明 脚本开发 选择开发环境的数据湖引擎，在开发环境下的调测并发布数据开发脚本，发布到生产环境后系统会自动替换为对应生产环境引擎。 具体请参见脚本开发。 作业开发 选择开发环境的数据
name：脚本的名称，由您自行定义，例如取名为echoTimeShell。 type：脚本类型。 content：脚本的内容。 connectionName：脚本关联的连接名称。 创建DLI SQL脚本 您还可以创建DLI SQL脚本，示例如下。 { "name":"dlisql1", "type":"DLISQL"
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
