检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
30 作业开发 表5 作业开发 API 说明 API流量限制(次/s) 用户流量限制(次/s) 创建作业 创建作业。 300 30 修改作业 更新作业. 300 30 查询作业列表 查询作业列表清单。 300 30 查询作业详情 查询作业详情。 100 10 查询作业文件 查询作业文件。
配置For Each节点 配置完成后保存作业。 测试运行主作业。 单击主作业画布上方的“测试运行”按钮,测试作业运行情况。主作业运行后,会通过For Each节点自动调用运行子作业。 单击左侧导航栏中的“实例监控”,进入实例监控中查看作业运行情况。等待作业运行成功后,就能查看For Eac
update_time String 更新时间,只读,格式遵循RFC3339,精确到秒,UTC时区,即yyyy-mm-ddTHH:MM:SSZ,如1970-01-01T00:00:00Z。 create_by String 创建人。 update_by String 更新人。 状态码:400 表8
连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 kafka_link Manager IP MRS Manager的浮动IP地址,可以单击输入框后的“选择”来选定已创建的MRS集群,CDM会自动填充下面的鉴权参数。 说明: 当前DataArts Studio不支持对接“Kerberos加密类型”为“aes256-sha2
日志:在角色详情页面,单击“日志”进入日志页签。 在日志页签,当权限同步失败后,您可以查看到日志详情。系统每天0点定时删除30天前的日志。 图12 查看日志 角色配置完成后,并不会直接生效。需要您将权限和角色手动同步到数据源中,同步成功后权限控制才能生效,详见相关操作。 配置纳管角色 在DataArts
API分组变量管理 √ √ 高级功能 自定义认证 √ √ 创建应用 50个 1000个 支持对接API云市场 √ × 支持协议 HTTP或HTTPS HTTPS 支持API策略路由 √ √ 运维分析展示 √ √ 支持后端负载均衡 × √ 支持内部API管理 × √ 后端支持对接私有云 × √
CDM集群创建完成后,选择集群操作列的“绑定弹性IP”,CDM通过EIP访问MRS HDFS。 图1 集群列表 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。 创建MRS HDFS连接 在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理
是否必选 参数类型 描述 id 否 String 码表字段ID,ID字符串。 code_table_id 否 String 所属码表ID(更新时必填),ID字符串。 ordinal 是 Integer 序号。 name_en 是 String 字段名,英文。 name_ch 是 String
保留前x后y 掩盖前x后y VARCHAR 英文字母变为x,数字变为n 后四位被保留(中文无变化且占一位),字母等变为X 前四位被保留(中文无变化且占一位)字母等变为X 全部被hash到64长度 中文无变化且占一位,字母等变为X 值变为NULL SM3算法加密 保留前x后y 掩盖前x后y
Administrator、Tenant Administrator权限的用户,可以开启或者关闭审批开关。 该开关开启后,在提交作业或脚本时,都需要指定审批人。开关关闭后,所有作业/脚本都将不再需要审批。 如果当前工作空间还有未完成审批的流程,不可以关闭开关。 配置审批时,系统支持三种不同场景的审批配置。
选择从旧空间导出的作业文件,单击下一步。 图18 导入作业 作业开始导入,导入成功后系统会显示导入的作业名。 图19 导入作业成功 搬迁后验证 在新空间的脚本、作业、环境变量、资源数据导入完成后,您可以在新空间查看并验证这些数据是否与旧空间一致,以确保导入成功。 父主题: DataArts
问云搜索服务集群。 CDM集群创建完成后,在集群管理界面选择“绑定弹性IP”,CDM通过EIP访问Oracle数据源。 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。 创建云搜索服务连接 单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理
当前动态水印策略仅支持MRS Hive和MRS Spark数据源。 新增、删除或修改动态水印策略后,需要约5分钟后才能生效。 仅当转储或下载数据量大于500行时,系统才会进行水印嵌入。如果数量小于等于500行,即使嵌入水印后也难以溯源。 创建动态水印策略 在DataArts Studio控制台首页,
ter”,为Spark作业提供运行所需的物理资源。 获取Spark作业代码 本示例使用的Spark作业代码来自maven库(下载地址:https://repo.maven.apache.org/maven2/org/apache/spark/spark-examples_2.10/1
脚本提交审批后,需要审批人在“审批中心”的“待审批”页签进行审批,只有当审批通过后,脚本才能提交成功。具体操作请参见审批配置。如果开关是关闭状态,则不需要审批,直接提交新版本即可。 如果要撤销已提交的审批流程,请您在“审批中心”的“我的申请”页签里进行撤销。修改完成后,可以重新提交审批。
data Object 返回的数据信息。 请求示例 根据传入的参数,删除维度表,只支持删除状态为草稿、已下线、已驳回的维度表。 DELETE https://{endpoint}/v2/{project_id}/design/atomic-indexs { "ids" : [ "1227990857618227200"
toJobConfig.writeToTempFile 否 Boolean 将二进制文件先写入到临时文件(临时文件以“.tmp”作为后缀),迁移成功后,再进行rename或move操作,在目的端恢复文件。 toJobConfig.duplicateFileOpType 否 枚举 重复文件处
同步数据大小写敏感开关,开启后在同步数据时对库名、表名、字段名大小写均敏感。 sink.verify.column-number boolean false - 校验数据列数的开关,MySQL > DWS默认以同名映射方式同步数据,不检验是否所有列均同步。 开启本开关后,若源端与目的端列数
作业提交审批后,需要审批人在“审批中心”的“待审批”页签进行审批,只有当审批通过后,作业才能提交成功。具体操作请参见审批配置。如果开关是关闭状态,则不需要审批,直接提交新版本即可。 如果要撤销已提交的审批流程,请您在“审批中心”的“我的申请”页签里进行撤销。修改完成后,可以重新提交审批。
r_[0-9]{1,2},会匹配 user_0 到 user_9,user_00 到 user_99 的表。 SCHEMA_E 表名 表示要抽取的表名。单击输入框后面的按钮可进入表的选择界面,用户也可以直接输入表名称。 如果选择界面没有待选择的表,请确认表是否已经创建,或者对应连接里的账号是否有元数据查询的权限。