检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
bindEip 解绑弹性IP cluster unbindEip 创建连接 link createLink 修改连接 link modifyLink 测试连接 link verifyLink 删除连接 link deleteLink 创建任务 job createJob 修改任务 job modifyJob
增版本”按钮手动增加保存版本。 测试运行作业。 作业配置完毕后,单击作业开发页面左上角“测试运行”按钮,测试作业。如果测试未通过,请您查看作业节点的运行日志,进行定位处理。 测试运行类似于单次运行,会对数据进行真实迁移。 用户可以查看该作业的测试运行日志,单击“查看日志”可以进入查看日志界面查看日志的详细信息记录。
主机地址:已开通ECS主机中开通的ECS主机的IP地址。 绑定Agent:已开通批量数据迁移增量包中开通的CDM集群。 单击“测试”,测试数据连接的连通性。如果无法连通,数据连接将无法创建。 测试通过后,单击“确定”,创建数据连接。 开发Python脚本 在“数据开发 > 脚本开发”模块中创建一个Py
重建数据表:先删除数据库中已有的表,再重新创建表。选择该选项可以确保数据库中的表和数据架构中的表是一致的,但是由于会先删除表,因此一般建议只在开发设计阶段或测试阶段使用该选项,产品上线后不推荐使用该选项。 数据表不区分大小写:对于选中的连接类型,在发布相应类型的表时,同步技术资产时名称将不区分大小写,找到相同的即认为已存在。
APIG专享版:如果您需要将API发布到APIG专享版上,则您需要提前在API网关服务上购买一个APIG实例。实例创建后,有一个默认API分组,系统为分组自动分配一个内部测试用的调试域名,此调试域名唯一且不可更改,每天最多可以访问1000次。如果您不希望与其他API共享此规格,可以在APIG控制台新建一个API
acquireEditLock 解作业锁 job releaseLock 批量解作业锁 job batchReleaseEditLock 测试运行 job testRun 执行调度 job startJob 执行调度 job startJobByName 停止调度 job stopJob
1800 20 创建组合识别规则 创建组合识别规则。 1800 20 修改组合识别规则 修改组合识别规则。 1800 20 组合识别规则测试 组合识别规则测试。 1800 20 规则分组接口 表4 规则分组接口 API 说明 API流量限制(次/10s) 用户流量限制(次/10s) 查询规则组列表
Hive等多种数据仓库。 支持可视化和DDL方式管理数据库表。 数据管理 脚本开发 脚本开发功能提供如下能力: 提供在线脚本编辑器,支持多人协作进行SQL、Shell等脚本在线代码开发和调测。 支持使用变量和函数。 支持脚本的版本管理能力。 脚本开发 作业开发 作业开发功能提供如下能力:
支持管理DWS、DLI、MRS Hive等多种数据仓库。 支持可视化和DDL方式管理数据库表。 脚本开发 提供在线脚本编辑器,支持多人协作进行SQL、Shell、Python脚本在线代码开发和调测。 支持使用变量。 作业开发 提供图形化设计器,支持拖拽式工作流开发,快速构建数据处理业务流水线。
current[0]}和#{Loop.current[1]}。 图9 配置For Each节点参数 配置完成后保存作业。 测试运行主作业 单击主作业EL_test_master画布上方的“测试运行”按钮,测试作业运行情况。主作业运行后,会通过For Each节点循环调用运行子作业EL_test_slave。
)”,输入数据连接名称,单击“测试”,提示连接成功,单击“确定”。 创建DWS数据连接。在DataArts Studio管理中心模块,单击创建数据连接,数据连接类型选择“数据仓库服务(DWS)”,输入数据连接名称,设置其他参数,如下图所示,单击“测试”,提示连接成功,单击“确定”。
检测网络连通性。 数据连接和资源组配置完成后需要测试整个迁移任务的网络连通性,可通过以下方式进行数据源和资源组之间的连通性测试。 单击展开“源端配置”触发连通性测试,会对整个迁移任务的连通性做校验。 单击源端和目的端数据源和资源组中的“测试”按钮进行检测。 网络连通性检测异常可先参考
”、或分隔符“|”进行分隔。 约束与限制 新建随机脱敏或字符替换类型的脱敏算法时,如果选择将敏感数据脱敏为样本库脱敏,则测试算法时限制样本文件大小不能超过10kb。注意,10kb仅为算法测试功能的限制,静态脱敏时并不限制样本文件大小不超过10kb。 样本文件大小建议不超过10MB,否则运行需要解
于一次全量写入场景。 微批模式为异步分批写入Hoodie,适用于对入库时间SLA要求较为严格的场景,以及对资源消耗较小,对MOR表存储类型在线进行压缩的场景。 说明: 运行-失败重试期间不允许修改此模式。 是 批次数据大小 “全量模式写Hoodie”设置为“否”时,使用微批模式呈现此参数。
current[0]}和#{Loop.current[1]}。 图9 配置For Each节点参数 配置完成后保存作业。 测试运行主作业 单击主作业EL_test_master画布上方的“测试运行”按钮,测试作业运行情况。主作业运行后,会通过For Each节点循环调用运行子作业EL_test_slave。
8", "category_level" : 0, "category_name" : "测试分类名", "category_path" : "测试分类名", "children" : [ ], "create_by" : "chenxiaoyu"
mmy节点并分别添加到Subjob节点的IF条件,然后将数据开发组件配置项中的“多IF策略”设置为“逻辑或”即可。 图4 编辑参数表达式 测试运行作业job_agent,在工作空间A的作业job1未运行的情况下,前往实例监控中查看执行结果是否符合预期。 由于作业job1未运行即未
SQL和Spark SQL脚本执行失败,界面只显示执行失败,没有显示具体的错误原因? 数据开发节点运行中报TOKEN不合法? 作业开发时,测试运行后如何查看运行日志? 月周期的作业依赖天周期的作业,为什么天周期作业还未跑完,月周期的作业已经开始运行? 执行DLI脚本,报Invalid
择等待运行中的作业继续执行。 约束限制 最大可以创建100个互斥组。 作业互斥配置只对正常调度的作业有效,其他调度(如暂停调度)暂不涉及,测试运行不涉及。 当前仅支持批作业创建互斥组。 配置方法 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
单击“保存”,对设置的配置项进行保存。 作业测试运行使用的身份 配置作业测试运行使用的身份后,在作业测试运行时,可以对作业测试运行的身份进行指定。 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 单击“默认项设置”,可设置“作业测试运行使用的身份”配置项。 配置作业测试运行使用的身份。 公共