检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可选择列表文件所在的OBS连接。 OBS_test_link 列表文件OBS桶 当“列表文件”选择为“是”时，才有该参数。该参数表示列表文件所在的OBS桶名。 01 列表文件或目录 当“列表文件”选择为“是”时，才有该参数。该参数表示列表文件所在的OBS桶中的绝对路径或目录。 /0521/Lists
不归档：不对脏数据进行存储，仅记录到任务日志中。 归档到OBS：将脏数据存储到OBS中，并打印到任务日志中。 不归档 脏数据写入连接 “脏数据策略”选择归档到OBS时显示该参数。 脏数据要写入的连接，目前只支持写入到OBS连接。 - 脏数据目录 脏数据写入的OBS目录。 - 脏数据阈值 是否写入脏数据为是时显示该参数。
cdm 密码 登录MRS Manager的密码。 - OBS支持 是否支持OBS存储，如果hudi表数据存储在OBS，需要打开此开关。 是 访问标识（AK） “OBS支持”设置为“是”时，呈现此参数。 AK和SK分别为登录OBS服务器的访问标识与密钥。 您需要先创建当前账号的访问密钥，并获得对应的AK和SK。
不归档：不对脏数据进行存储，仅记录到任务日志中。 归档到OBS：将脏数据存储到OBS中，并打印到任务日志中。 不归档 脏数据写入连接 “脏数据策略”选择归档到OBS时显示该参数。 脏数据要写入的连接，目前只支持写入到OBS连接。 - 脏数据目录 脏数据写入的OBS目录。 - 脏数据阈值 是否写入脏数据为是时显示该参数。
SIMPLE：非安全模式选择Simple鉴权。 KERBEROS：安全模式选择Kerberos鉴权。 是 单击“显示高级属性”，然后单击“添加”，您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性，可单击属性后的“删除”按钮进行删除。 Apache Kafka Apache
longs 资源ID数组。 export_mode 否 String 导出模式，null表示导出到本地文件系统，obs表示导出至obs，仅限于导出质量报告使用。 obs_service_type 否 String 业务类型，technology表示技术报告，business表示业务报告，仅限于导出质量报告使用。
全管理员，数据安全审计员和数据安全运营人员）对数据安全和数据治理的诉求。 图1 DataArts Studio数据安全框架 资源主体：即华为云数据湖中的库表字段及计算引擎队列资源。库表字段支持大数据MRS Hive/Spark，云数据仓库DWS，数据湖探索DLI等数据湖，计算引擎队列包含大数据MRS
不归档：不对脏数据进行存储，仅记录到任务日志中。 归档到OBS：将脏数据存储到OBS中，并打印到任务日志中。 不归档 脏数据写入连接 “脏数据策略”选择归档到OBS时显示该参数。 脏数据要写入的连接，目前只支持写入到OBS连接。 - 脏数据目录 脏数据写入的OBS目录。 - 脏数据阈值 是否写入脏数据为是时显示该参数。
连接Oracle数据库时，具体参数请参见Oracle数据库连接参数说明。 分库 连接达梦数据库时，具体参数请参见分库连接参数说明。 对象存储服务（OBS） 连接OBS时，具体参数请参见OBS连接参数说明。 MRS HDFS FusionInsight HDFS Apache HDFS 连接MRS、Apache
Studio实例控制台 前提条件 请参见购买DataArts Studio基础包，确认已购买DataArts Studio实例。 操作步骤 登录华为云控制台，在左上角的服务列表中选择“数据治理中心DataArts Studio”，进入DataArts Studio实例控制台。 如果当前区域下有多个DataArts
当“开启ldap”参数选择为“是”时，此参数是必选项。 填写为MRS Hive开启LDAP认证时配置的密码。 OBS支持 否 适用组件勾选数据集成后，呈现此参数。 需服务端支持OBS存储。在创建Hive表时，您可以指定将表存储在OBS中。 使用委托 否 适用组件勾选数据集成后，呈现此参数。 开启委托功能，即可以
“Flink调试OBS桶”，单击“确定”后，可以查看SQL执行结果。系统支持可以预览所调试的SQL信息。 Flink SQL作业调试仅支持MRS集群，进行调试前请先选择MRS集群。OBS桶必须选择并行文件桶，可以在工作空间进行默认配置，请参见Flink调试OBS桶，支持在Flink
通过IAM应用或白名单将API授权给账号后，借助从IAM服务获取的用户Token进行安全认证。 API工具调用：需要调用IAM服务的获取用户Token接口获取Token，再使用API工具调用。 通过API工具调用IAM认证方式的API API工具调用场景可使用IAM认证方式。 无认证 低 无需授权，所有用户均可访问。
不归档：不对脏数据进行存储，仅记录到任务日志中。 归档到OBS：将脏数据存储到OBS中，并打印到任务日志中。 不归档 脏数据写入连接 “脏数据策略”选择归档到OBS时显示该参数。 脏数据要写入的连接，目前只支持写入到OBS连接。 - 脏数据目录 脏数据写入的OBS目录。 - 脏数据阈值 是否写入脏数据为是时显示该参数。
Studio实例控制台 前提条件 请参见购买DataArts Studio实例，确认已购买DataArts Studio实例。 操作步骤 登录华为云控制台，在左上角的服务列表中选择“数据治理中心DataArts Studio”，进入DataArts Studio实例控制台。 如果当前区域下有多个DataArts
创建数据开发模块作业，通过DLI Spark节点提交Spark作业。 环境准备 已开通对象存储服务OBS，并创建桶，例如“obs://dlfexample”，用于存放Spark作业的JAR包。 已开通数据湖探索服务DLI，并创建Spark集群“spark_cluster”，为Spark作业提供运行所需的物理资源。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
同步到云上的数据库服务或大数据服务中，适用于多库多表同步场景。 支持分库分表同步的数据源如下所示： 源端为RDS(MySQL)时支持分库分表同步。 整库同步支持的数据源类型 整库同步适用于将本地数据中心或在ECS上自建的数据库，同步到云上的数据库服务或大数据服务中，适用于数据库离线同步场景，不适用于在线实时同步。
修改资源引用的位置即可，不需要修改作业配置。关于资源的使用样例请参见开发一个DLI Spark作业。 约束限制 该功能依赖于OBS服务或MRS HDFS服务。 新建目录（可选） 如果已存在可用的目录，可以不用新建目录。 参考访问DataArts Studio实例控制台，登录DataArts
获取Rest Client节点返回值教程 Rest Client节点可以执行华为云内的RESTful请求。 本教程主要介绍如何获取Rest Client的返回值，包含以下两个使用场景举例。 通过“响应消息体解析为传递参数定义”获取返回值 通过EL表达式获取返回值 通过“响应消息体解析为传递参数定义”获取返回值
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
