检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
一个CDM集群。如果没有可用的CDM集群，请参考创建CDM集群进行创建。 CDM集群作为网络代理，必须和MRS集群网络互通才可以成功创建MRS连接，为确保两者网络互通，CDM集群必须和MRS集群处于相同的区域、可用区，且使用同一个VPC和子网，安全组规则需允许两者网络互通。 说明：
String 数据服务的版本类型，指定SHARED共享版或EXCLUSIVE专享版。 Content-Type 是 String 消息体的类型（格式），有Body体的情况下必选，没有Body体无需填写。如果请求消息体中含有中文字符，则需要通过charset=utf8指定中文字符集，例如取值为
#{JSONUtil.toString(b)} Object path(String jsonStr,String jsonPath) 返回json字符串指定路径下的字段值。类似于XPath，path方法可以通过路径检索或设置JSON，其路径中可以使用.或[]等访问成员、数值，例如：tables[0]
提升迁移速度。 数据仓库服务(DWS)数据源约束 DWS主键或表只有一个字段时，要求字段类型必须是如下常用的字符串、数值、日期类型。从其他数据库迁移到DWS时，如果选择自动建表，主键必须为以下类型，未设置主键的情况下至少要有一个字段是以下类型，否则会无法创建表导致CDM作业失败。
String 数据服务的版本类型，指定SHARED共享版或EXCLUSIVE专享版。 Content-Type 是 String 消息体的类型（格式），有Body体的情况下必选，没有Body体无需填写。如果请求消息体中含有中文字符，则需要通过charset=utf8指定中文字符集，例如取值为
准备工作简介 您需要完成注册华为账号、购买DataArts Studio实例、访问DataArts Studio实例控制台、管理工作空间、授权用户使用DataArts Studio等一系列准备工作，才能开始DataArts Studio的正式使用。 需要进行的准备工作如下图所示，具体操作请参考后续章节。
选择此连接适用的组件。勾选组件后，才能在相应组件内使用本连接。 基础与网络连通配置 MRS集群名 是 选择所属的MRS集群。仅支持连接MRS云服务，自建Hadoop集群必须在纳管到MRS云服务后才可以选择。系统会显示所有项目ID和企业项目相同的MRS集群。 说明： 当前DataArts Studio不支持对接
已默认记录了当前账号的白名单，不支持删除，因此共享版IAM认证方式的API无需进行授权即可进行调用。而专享版中使用IAM认证方式的API则必须先通过应用或白名单授权才能调用。 申请API授权时，仅支持通过应用授权的方式，暂不支持白名单授权方式。 APP认证方式的API只能授权给APP类型的应用。
stddev_pop(col) stddev_pop() 返回指定列的偏差。 stddev_samp(col) stddev_samp() 返回指定列的样本偏差。 sum(col) sum() 求和。 var_samp(col) var_samp() 返回指定列的样本方差。 如果想要查询更多函数的功能
规则描述：增加相应规则描述。 *算法类型：下拉选择算法类型，详情请参考表1。 *脱敏算法：下拉选择脱敏算法类型关联的算法，详情请参考表1。 说明： 如下算法在使用前必须先在脱敏算法处配置密钥，才能正常使用。 哈希算法中的“HMAC-SHA256哈希”算法。 加密算法中的“dws列加密”算法。 不同脱敏算法的更多使用限制，请参考管理脱敏算法。
描述 filter 否 String 当“job_name”为“all”时，此参数用于模糊过滤作业。 page_no 否 Integer 指定作业页号。 page_size 否 Integer 每页作业数，值在10-100之间。 jobType 否 String 作业类型: jo
String 重名策略 SKIP：跳过 OVERWRITE：覆盖 默认值是SKIP。 jobsParam 否 List<JobParam> 指定作业参数，参考表3。 executeUser 否 String 执行作业的用户。 targetStatus 否 String 在开启审批开
fromJobConfig.isPermanency 是 Boolean 是否永久运行。 fromJobConfig.groupId 否 String 用户指定消费组ID。 如果是从DMS Kafka导出数据，专享版请任意输入，标准版请输入有效的消费组ID。 fromJobConfig.dataFormat
会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 table 高级属性 单次写入行数 指定单次批量写入的行数（注意：一次事务提交100个批量的数据）。 10000 导入前准备语句 执行任务之前率先执行的SQL语句。目前向导模式仅允许执行一条SQL语句。
节点（空节点，不处理实际的业务数据），在Dummy节点与后续执行任务的节点的连线上，您可以配置条件表达式，判断当前的调度时间是否为一年中的指定的某一天进行调度（比如2023年6月29号）。如果是，则执行后续节点，否则跳过后续节点。 在数据开发主界面的左侧导航栏，选择“数据开发 >
通过代理连接的时候，此项可配置。 当MRS Hive对接外部LDAP开启了LDAP认证时，连接Hive时需要使用LDAP账号与密码进行认证，此时必须开启此参数，否则会连接失败。 否 LDAP用户名 当“开启LDAP认证”参数选择为“是”时，此参数是必选项。 填写为MRS Hive开启LDAP认证时配置的用户名。
），用于优化资源使用效率，提升作业的执行性能。 注意： 系统支持实时Flink SQL作业运行前能够查询历史checkpoint，并选择从指定checkpoint启动。要使Flink Checkpoin生效，需要配置两个运行参数： 图1 配置运行程序参数 用来控制checkpoint间隔
主键 选中时为主键。 说明： 数据连接为MRS Spark连接（通过MRS Spark连接支持MRS Hudi数据源）时，由于Hudi的限制，必须存在字段主键才能数据落库成功，否则会导致表同步失败。 分区 选中时为分区字段。 不为空 是否限制该字段不为空。 标签 单击按钮可以为表字段添加标签。
默认值：desc page 否 Integer 分页列表的起始页，默认值为0。取值范围大于等于0。 size 否 Integer 分页返回结果，指定每页最大记录数。默认值：10。 start_date 否 Long 查询作业的开始日期，13位时间戳。 end_date 否 Long 查询作业的结束日期，13位时间戳。
如果不设置该参数，默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据，需要带上该消息头。 说明： 多个DataArts Studio实例需要指定工作空间。 当工作空间里面没有default工作空间时，工作空间为必填参数，否则会报错。 表3 参数说明 参数名 是否必选 参数类型 说明
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
