检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
#每一行数据按照空格拆分 得到一个个单词 words = lines.flatMap(lambda line:line.split(" "),True) #将每个单词 组装成一个tuple 计数1 pairWords = words.map(lambda word:(word
交SQL作业、Shell脚本、Python脚本等任务的同时运行上限为200。 数据集成配置 连接属性 否 例如：1. socketTimeout：配置JDBC连接超时时间，单位为毫秒；2. mysql.bool.type.transform：配置mysql读取时，是否将tinyi
forceJobSuccess 新建脚本 script addScript/createScript(api) 执行脚本 script executeScript 修改脚本 script saveScript/editScript(api) 导出脚本 script exportScripts 导入脚本 script
SQL节点属性。此处配置为引用SQL脚本，SQL脚本的语句如下所示。其他节点属性参数无特殊要求。 --从student_score表中统计成绩在85分以上的人数-- SELECT count(*) FROM student_score WHERE score> "85" ; 图8 HIVE SQL脚本执行结果
绑定Agent：已创建的CDM集群。 开发Hive SQL脚本 在“数据开发 > 脚本开发”模块中创建一个Hive SQL脚本，脚本名称为“hive_sql”。在编辑器中输入SQL语句，通过SQL语句来实现业务需求。 图1 开发脚本 关键说明： 图1中的脚本开发区为临时调试区，关闭脚本页签后，开发区的内容将丢失
在“SQL脚本”参数后选择需要执行的脚本。如果脚本未创建，请参考新建脚本和开发SQL脚本先创建和开发脚本。关联的SQL脚本如果使用了参数，此处显示参数名称，请在参数名称后的输入框配置参数值。参数值支持使用EL表达式。 若关联的SQL脚本，脚本参数发生变化，可单击刷新按钮同步。 说明： 若选择SQL语句
数据目录目前支持采集数据湖的资产，例如MRS Hive、DLI、DWS等，除此之外也支持采集以下数据源的元数据： 关系型数据库，如MySQL/PostgreSQL等（可使用RDS类型连接，采集其元数据） 云搜索服务CSS 图引擎服务GES 对象存储服务OBS MRS Hudi组件（MRS
>= '${startTime}' and _timestamp < '${currentTime}'" } 源端数据库是数据仓库服务DWS或者MySQL时，对于时间的判断可以写成以下两种： _timestamp >= '2018-10-10 00:00:00' and _timestamp
load 端口。 数据库名称 是 配置需要连接的数据库。 当“适用组件”勾选“数据集成”时，参数“数据库名称”到“引用符号”才需要配置，其中数据库名称为必填项。 使用本地API 否 开关开启时，使用本地API加速。 开关关闭时，不使用本地API加速。 使用数据库本地API加速。（
information”，如何处理？ 使用python调用执行脚本的api报错：The request parameter invalid，如何处理？ 在ECS上调试好的shell脚本，在DLF中shell脚本执行异常，如何处理？ Spark Python脚本如何引用Python脚本？ DataArts Studio调度CDM任务时报错Given
导出作业 功能介绍 导出zip压缩包格式的作业文件，包括作业定义、作业依赖的脚本、CDM作业定义。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 POST /v1/{project_id}/jobs/{job_name}/export
任务并行执行，能够极大提高数据迁移的效率。针对Hive、HBase、MySQL、DWS（数据仓库服务）数据源，使用高效的数据导入接口导入数据。 多种数据源支持 数据源类型繁杂，针对不同数据源开发不同的任务，脚本数量成千上万。 支持数据库、Hadoop、NoSQL、数据仓库、文件等多种类型的数据源。
当由于网络限制，Rest Client某些API无法调通时，可以尝试使用Shell脚本进行API调用。您需要拥有ECS弹性云服务器，并确保ECS主机和待调用的API之间网络可通，然后在DataArts Studio创建主机连接，通过Shell脚本使用CURL命令进行API调用。 Rest Client算
SQL作业调试时修改。 查看脚本执行结果时，双击任意一行的一个字段，可以查看该行的结果详情，支持复制字段名称。 脚本执行历史结果可以进行权限管控，可设置为“仅自己可见”或“所有用户可见”，默认配置项请参见脚本执行历史展示。 为了方便脚本开发，数据开发模块提供了如下能力： 脚本编辑器支持使用如下快捷键，以提升脚本开发效率。
数据访问得到有效管控，数据安全得以保障。 所有脚本或作业仅支持在开发环境编辑，开发者无法修改生产环境的脚本或作业。 开发环境和生产环境的数据隔离，开发者无法影响生产环境的数据。 开发环境下，脚本、作业以当前开发者的身份执行；生产环境下，脚本、作业则使用空间级的公共IAM账号或公共委托执行。
Shell/Python节点执行失败，后台报错session is down 本指导以Shell算子为例。 问题现象 Shell节点运行失败了，实际上Shell脚本运行成功了。 原因分析 获取Shell节点的运行日志。 [2021/11/17 02:00:36 GMT+0800] [INFO] No job-level
默认规格（条） 配置类API 调试API DLI/MySQL/RDS/DWS 10 调用API DLI/MySQL/RDS/DWS 100 脚本类API 测试SQL - 10 调试API DLI 默认分页：100 自定义分页：1000 MySQL/RDS/DWS 默认分页：10 自定义分页：2000
否 boolean 是否导出作业依赖的脚本和资源。 默认值：true 响应参数 批量导出作业响应消息和导出作业响应消息一致，请参考 响应参数。 请求示例 导出两个作业，作业名称分别为job_batch和job_stream。是否导出作业依赖的脚本和资源默认为true。 POST /
String 作业路径 表5 Script字段数据结构说明 参数名 是否必选 参数类型 说明 name 是 String 脚本名称 path 是 String 脚本路径 请求示例 查询OBS上作业文件中的参数定义。作业定义文件在OBS上的路径为obs://aaaaa/DLF_myJob
配置OBS桶 脚本、作业或节点的历史运行记录依赖于OBS桶，如果未配置测试运行历史OBS桶，则无法查看历史运行的详细信息。请参考本节操作配置OBS桶。 约束限制 OBS路径仅支持OBS桶，不支持并行文件系统。 配置方法 参考访问DataArts Studio实例控制台，登录DataArts
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
