检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通知管理”中配置了作业异常/失败的SMN通知,但却收不到作业失败的告警通知。 图1 通知管理 解决方案 此时可按以下步骤依次排查: 确认失败作业为调度中的作业。测试运行的作业是不发通知的,只有调度中的作业才会发SMN通知。 在“运维调度 > 通知管理”中查看此作业的通知配置开发是否为打开状态。 登录S
bindEip 解绑弹性IP cluster unbindEip 创建连接 link createLink 修改连接 link modifyLink 测试连接 link verifyLink 删除连接 link deleteLink 创建任务 job createJob 修改任务 job modifyJob
CDM集群与其他云服务的网络互通,只有企业项目一致的云服务才能打通网络。 操作场景 DataArts Studio实例中已经包含一个仅用于测试、试用等非正式业务场景的CDM集群(试用版除外)。 如果该集群已经满足您的使用需求,则无需再购买批量数据迁移增量包。 如果您需要CDM集群
成数据质量精细化管控文化。根据数据治理领导组的愿景和长期目标,建立和管理数据治理流程、阶段目标和计划,设计和维护数据治理方法、总则、工具和平台,协助各数据领域工作组实施数据治理工作,对整体数据治理工作进行度量和汇报,并对跨领域的数据治理问题和争议进行解决和决策。 各领域数据治理工
SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200,超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 数据源驱动配置 驱动程序名称 是 驱动程序名称: com.gbase.jdbc.Driver:连接GBASE8A数据源时,选择此驱动程序名称。
COMPUTE STATISTICS 说明: “执行Analyze语句”参数配置仅用于单表迁移场景。 执行Analyze语句可能会对Hive造成压力。 是 内部写队列内存最大值 当出现内存不足场景时,请酌情修改该参数,当参数过小时,会影响迁移速率。 取值范围是1-128,默认为空,不做
where date_format(trade_time, 'yyyy-MM-dd') = '2018-09-25' 单击,测试运行作业。 作业测试无问题后,单击,保存作业配置。 更多案例 EL表达式在数据开发过程中被广泛应用,您可以参考最佳实践查看更多应用EL表达式的进阶实践。
)”,输入数据连接名称,单击“测试”,提示连接成功,单击“确定”。 创建DWS数据连接。在DataArts Studio管理中心模块,单击创建数据连接,数据连接类型选择“数据仓库服务(DWS)”,输入数据连接名称,设置其他参数,如下图所示,单击“测试”,提示连接成功,单击“确定”。
8", "category_level" : 0, "category_name" : "测试分类名", "category_path" : "测试分类名", "children" : [ ], "create_by" : "chenxiaoyu"
检测网络连通性。 数据连接和资源组配置完成后需要测试整个迁移任务的网络连通性,可通过以下方式进行数据源和资源组之间的连通性测试。 单击展开“源端配置”触发连通性测试,会对整个迁移任务的连通性做校验。 单击源端和目的端数据源和资源组中的“测试”按钮进行检测。 网络连通性检测异常可先参考
acquireEditLock 解作业锁 job releaseLock 批量解作业锁 job batchReleaseEditLock 测试运行 job testRun 执行调度 job startJob 执行调度 job startJobByName 停止调度 job stopJob
current[0]}和#{Loop.current[1]}。 图9 配置For Each节点参数 配置完成后保存作业。 测试运行主作业 单击主作业EL_test_master画布上方的“测试运行”按钮,测试作业运行情况。主作业运行后,会通过For Each节点循环调用运行子作业EL_test_slave。
1800 20 创建组合识别规则 创建组合识别规则。 1800 20 修改组合识别规则 修改组合识别规则。 1800 20 组合识别规则测试 组合识别规则测试。 1800 20 规则分组接口 表4 规则分组接口 API 说明 API流量限制(次/10s) 用户流量限制(次/10s) 查询规则组列表
current[0]}和#{Loop.current[1]}。 图9 配置For Each节点参数 配置完成后保存作业。 测试运行主作业 单击主作业EL_test_master画布上方的“测试运行”按钮,测试作业运行情况。主作业运行后,会通过For Each节点循环调用运行子作业EL_test_slave。
mmy节点并分别添加到Subjob节点的IF条件,然后将数据开发组件配置项中的“多IF策略”设置为“逻辑或”即可。 图4 编辑参数表达式 测试运行作业job_agent,在工作空间A的作业job1未运行的情况下,前往实例监控中查看执行结果是否符合预期。 由于作业job1未运行即未
单击“保存”,对设置的配置项进行保存。 作业测试运行使用的身份 配置作业测试运行使用的身份后,在作业测试运行时,可以对作业测试运行的身份进行指定。 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 单击“默认项设置”,可设置“作业测试运行使用的身份”配置项。 配置作业测试运行使用的身份。 公共
”、或分隔符“|”进行分隔。 约束与限制 新建随机脱敏或字符替换类型的脱敏算法时,如果选择将敏感数据脱敏为样本库脱敏,则测试算法时限制样本文件大小不能超过10kb。注意,10kb仅为算法测试功能的限制,静态脱敏时并不限制样本文件大小不超过10kb。 样本文件大小建议不超过10MB,否则运行需要解
选择“集群 > > 待操作的集群名称 > 概览 > 更多 > 下载客户端”,界面显示“下载集群客户端”对话框。 对话框中选择“仅配置文件”,平台类型和服务端保持一致,其他保持默认即可,单击确认后进行本地下载。 获取下载的tar包,此即为FusionInsight集群配置文件。 针对MRS
择等待运行中的作业继续执行。 约束限制 最大可以创建100个互斥组。 作业互斥配置只对正常调度的作业有效,其他调度(如暂停调度)暂不涉及,测试运行不涉及。 当前仅支持批作业创建互斥组。 配置方法 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
Principal和keytab文件,可以联系Hadoop管理员获取。 单击“保存”,CDM会自动测试连接是否可用。 如果可用则提示保存成功,系统自动跳转到连接管理界面。 如果测试不可用,需要重新检查连接参数是否配置正确,或者H公司防火墙是否允许CDM集群的EIP访问数据源。 单