检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备数据湖 在使用DataArts Studio前，您需要根据业务场景选择符合需求的云服务或数据库作为数据底座，由数据底座提供存储和计算的能力，DataArts Studio基于数据底座进行一站式数据开发、治理和服务。 DataArts Studio平台支持对接如DLI、DWS、MRS
类型 是 选择资源的文件类型： jar：用户jar文件。 pyFile：用户Python文件。 file：用户文件。 archive：用户AI模型文件。支持的文件后缀名为：zip、tgz、tar.gz、tar、jar。 资源位置 是 选择资源所在的位置，当前支持OBS和HDFS两
Unauthorized { "error_code" : "DS.60xx", "error_msg" : "User authentication failed." } 状态码：403 Forbidden { "error_code" : "DS.60xx", "error_msg"
day_of_month 否 String 每个月的哪几天可以补数据，如每月1号，3号，表示：1,3。 表5 SupplementDataInstanceTime参数说明 参数名 是否必选 参数类型 说明 days 否 array[string] 支持离散的天。 time_of_day
0,0,0,1,0,0 6,Shanghai Triad (Yao a yao yao dao waipo qiao) (1995),1-Jan-95,http://us.imdb.com/Title?Yao+a+yao+yao+dao+waipo+qiao+(1995),0,0,0
_deleted，支持用户自定义。 刷新源表和目标表映射，检查映射关系是否正确，同时可根据需求修改表属性、添加附加字段，并通过“自动建表”能力在目的端DWS数据库中建出相应的表。 图10 源表与目标表映射 附加字段编辑：单击操作列“附加字段编辑”可为目的端的DWS表中增加自定义字
支持配置开始位置、结束位置和掩码标志。 身份证号码掩码 掩码身份证号。 不支持。 银行卡号掩码 掩码银行卡号。 不支持。 Email掩码 掩码Email信息。 不支持。 移动设备标识掩码 对设备码进行掩码，支持IMEI、MEDI、ESN。 支持配置类型。 IPv6掩码 掩码IPv6地址。
String getNodeStatus(String nodeName) 获取指定节点运行状态，成功状态返回success，失败状态返回fail。 例如，判断节点是否运行成功，可以使用如下判断条件，其中test为节点名称： #{(Job.getNodeStatus("test"))
ySQL中的原始样例数据需要导入MRS Hive中，并标准化为点数据集和边数据集。 创建集群 批量数据迁移集群提供数据上云和数据入湖的集成能力，全向导式配置和管理，支持单表、整库、增量、周期性数据集成。DataArts Studio基础包中已经包含一个数据集成的集群，如果无法满足业务需求，在购买DataArts
通过SDK调用API 解压1中获取的Java SDK包，并在Eclipse中导入SDK工程。 导入成功后，打开main.java文件，修改如下图红框所示的内容： 图4 修改main.java 如下参数设置API的请求方法和调用地址，可参考5进行获取。 注意如果入参中包含Path参数，则
_deleted，支持用户自定义。 刷新源表和目标表映射，检查映射关系是否正确，同时可根据需求修改表属性、添加附加字段，并通过“自动建表”能力在目的端DWS数据库中建出相应的表。 图10 源表与目标表映射 附加字段编辑：单击操作列“附加字段编辑”可为目的端的DWS表中增加自定义字
SQL、HetuEngine SQL脚本支持语法检查。单击“语法检查”，SQL语句校验完成后，可以在下方查看语法校验结果。 为了方便脚本开发，数据开发模块提供了如下能力： 脚本编辑器支持使用如下快捷键，以提升脚本开发效率。 F8：运行 F9：停止 Ctrl + /：注释或解除注释光标所在行或代码块 Ctrl
addQueryStringParam("name", "value"); request.addHeader("Content-Type", "text/plain"); request.addHeader("name", "value"); request.setBody("demo");
stdout=PIPE, stderr=PIPE) #kinit.stdin.write('Admin@123$#\n'.encode()) #kinit.wait() with krbcontext(using_keytab=True,principal='impala1@F5840AB1_749
依据DDL更新模板：依据DDL模板管理中配置的DDL更新模板，更新数据库中的表，但能否更新成功是由底层数仓引擎的支持情况决定的。由于不同类型的数仓支持的更新表的能力不同，在数据架构中所做的表更新操作，如果数仓不支持，则无法确保数据库中的表和数据架构中的表是一致的。例如，DLI类型的表更新操作不支持删除
需要注意的事项请参见下表。 表4 注意事项 类型名称 使用和操作限制 数据库限制 支持开启SASL_PLAINTEXT的Kafka实例，包括SCRAM-SHA-512及PLAIN认证机制。 不支持开启SASL_SSL的Kafka实例。 使用限制 通用： 实时同步过程中，不支持IP、端口、账号、密码修改。
ratings_obs2dws（CDM Job节点）：在节点属性中，选择步骤2：数据集成中的CDM集群，并关联CDM作业“ratings_obs2dws”。 Waiting（Dummy节点）：不执行任何操作，作为等待前侧节点执行结束的标识。 top_rating_movie（DWS SQL节点）：在节点属性中，关联创建DWS
public static void main(String[] args) { // The AK and SK used for authentication are hard-coded or stored in plaintext, which has great
选择是否开启作业标识文件的功能。当源端路径下存在启动作业的标识文件时才启动作业，否则会挂起等待一段时间，等待时长在下方“fromJobConfig.waitTime”（等待时间）参数中配置。 fromJobConfig.markerFile 否 String 启动作业的标识文件名。指定文件后
String getNodeStatus(String nodeName) 获取指定节点运行状态，成功状态返回success，失败状态返回fail。 例如，判断节点是否运行成功，可以使用如下判断条件，其中test为节点名称： #{(Job.getNodeStatus("test"))
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
