检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发一个DLI Spark作业 在本章节您可以学习到数据开发模块资源管理、作业编辑等功能。 场景说明 用户在使用DLI服务时，大部分时间会使用SQL对数据进行分析处理，有时候处理的逻辑特别复杂，无法通过SQL处理，那么可以通过Spark作业进行分析处理。本章节通过一个例子演示如何
主题域ID，只读，创建和更新时无需填写。 l3_id String 业务对象ID，ID字符串。 data_type String 字段类型。 create_by String 创建人。 update_by String 更新人。 status String 实体的发布状态，只读，创建和更新时无需填写。
选择区域时，您需要考虑以下几个因素： 地理位置 一般情况下，建议就近选择靠近您或者您的目标用户的区域，这样可以减少网络时延，提高访问速度。不过，在基础设施、BGP网络品质、资源的操作与配置等方面，中国大陆各个区域间区别不大，如果您或者您的目标用户在中国大陆，可以不用考虑不同区域造成的网络时延问题。 曼谷等其
通过公网IP访问。 1xx.120.85.24 端口 MySQL数据库的端口。 3306 数据库名称 待导出数据的MySQL数据库名称。 DB_name 用户名 访问MySQL数据库的用户，该用户拥有MySQL数据库的读、写和删除权限。 username 密码 访问MySQL数据库的用户密码。
前提条件 修改工作空间的用户账号，需要满足如下任一条件： DAYU Administrator或Tenant Administrator账号。 DAYU User账号，但为当前工作空间的管理员。 修改方法 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。
关键配置：Where子句+定时执行作业。 前提条件：数据表中有时间日期字段或时间戳字段。 关系数据库增量迁移方式，只对数据表追加写入，不会更新或删除已存在的记录。 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据
创建者。 created_at Long 创建时间。 updated_by String 更新者。 updated_at Long 更新时间。 instance_id String DataArts实例ID。 状态码： 400 表6 响应Body参数 参数 参数类型 描述 error_code
业务版本管理，只读。 l1 否 String 主题域分组中文名，只读，创建和更新时无需填写。 l2 否 String 主题域中文名，只读，创建和更新时无需填写。 l3 否 String 业务对象中文名，只读，创建和更新时无需填写。 self_defined_fields 否 Array of
e_Alarm_项目名称_实例ID”。 项目名称可以参考如下步骤进行获取： 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面，查看账号名和账号ID、IAM用户名和IAM用户ID，在项目列表中查看项目和项目ID。 实例ID可参考如下步骤进行获取：
AM服务获取的用户Token进行安全认证。 API工具调用：需要调用IAM服务的获取用户Token接口获取Token，再使用API工具调用。 通过API工具调用IAM认证方式的API API工具调用场景可使用IAM认证方式。 无认证 低 无需授权，所有用户均可访问。 API工具调用：直接调用，无需认证信息。
400 作业使用的连接%s已被禁用。不能提交作业。 作业使用的连接已被禁用。 请改为其他连接后，再重新提交作业。 Cdm.0061 400 连接器%s不支持此方向。不能提交作业。 该连接器不能作为作业的源端或目的端。 该连接器不能作为作业的源端或目的端，请改为其他连接后，再重新提交作业。
导入。 是否覆盖 配置导入的重名API是否需要更新，默认不更新。仅专享版支持该参数。 不覆盖：如果已存在同名API，则不导入该API。 当导入API与原有API定义冲突时，覆盖原有API定义：如果存在同名API，则按照导入的API更新API定义。 导入文件 待导入的API文件可以
购买DataArts Studio实例 购买DataArts Studio基础包 （可选）购买DataArts Studio功能增量包 （可选）购买规格增量包
到MRS集群。 数据连接 无需选择，自动根据选择的集群匹配数据连接。 *kafka数据连接 选择在前提条件中已创建的MRS Kafka类型数据连接。注意，Kafka应为第三方平台发布消息所在的Kafka，Kafka数据连接中的账户要具备kafkaadmin用户组的权限。 *topic主题
String 创建者。 l1 String 主题域分组中文名，只读，创建和更新时无需填写。 l2 String 主题域中文名，只读，创建和更新时无需填写。 l3 String 业务对象中文名，只读，创建和更新时无需填写。 approval_time String 审核时间。 approver
终止后续节点执行计划：停止后续节点的运行，当前作业实例状态显示为“失败”。 终止当前作业执行计划：停止当前作业运行，当前作业实例状态显示为“失败”。 继续执行下一节点：忽略当前节点失败，当前作业实例状态显示为“忽略失败”。 挂起当前作业执行计划：当前作业实例的状态为运行异常，该节点的后续节点以
主题域ID，只读，创建和更新时无需填写。 l3_id String 业务对象ID，ID字符串。 data_type String 字段类型。 create_by String 创建人。 update_by String 更新人。 status String 实体的发布状态，只读，创建和更新时无需填写。
updated_by String 策略更新人。 updated_at Long 策略更新时间。 builtin_rule_id String 内置规则ID。 category_id String 分类ID。 instance_id String 实例ID。 match_type String
在弹出的新建脱敏页面中填写策略信息，参考表1完成配置。配置完成后单击“确定”即可。 图2 创建脱敏策略界面 表1 创建脱敏策略参数配置 参数 参数描述 *策略名称 用户自定义策略名称，只能包含英文字母、数字、“_”，且长度不能超过64个字符。 描述 为更好地识别脱敏策略，此处加以描述信息，长度不能超过255个字符。
String 源端连接类型，对应的连接参数如下： generic-jdbc-connector：关系数据库连接。 obs-connector：OBS连接。 hdfs-connector：HDFS连接。 hbase-connector：HBase连接、CloudTable连接。 hive-connector：Hive连接。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
