检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。 终止当前作业执行计划:停止当前作业运行,当前作业实例状态显示为“失败”。 继续执行下一节点:忽略当前节点失败,当前作业实例状态显示为“忽略失败”。 挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以
终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。 终止当前作业执行计划:停止当前作业运行,当前作业实例状态显示为“失败”。 继续执行下一节点:忽略当前节点失败,当前作业实例状态显示为“忽略失败”。 挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以
Token、用户名密码两种认证鉴权方式的RESTful请求。 主机连接 通过主机连接,用户可以在DataArts Studio数据开发中连接到指定的主机,通过脚本开发和作业开发在主机上执行Shell或Python脚本。主机连接保存连接某个主机的连接信息,当主机的连接信息有变化时,
jsonPath) 返回json字符串指定路径下的字段值。类似于XPath,path方法可以通过路径检索或设置JSON,其路径中可以使用.或[]等访问成员、数值,例如:tables[0].table_name。 字符串变量str的内容如下: { "cities":
数据集成(实时作业) 问题案例总览 数据源和资源组网络不通如何排查? 数据源安全组放通哪些端口可满足Migration访问? 如何配置Hudi Compaction的Spark周期任务? MySQL到DWS实时同步中,同步新增列的DDL时报错怎么办? MySQL到DWS实时同步中
到MRS集群。 数据连接 无需选择,自动根据选择的集群匹配数据连接。 *kafka数据连接 选择在前提条件中已创建的MRS Kafka类型数据连接。注意,Kafka应为第三方平台发布消息所在的Kafka,Kafka数据连接中的账户要具备kafkaadmin用户组的权限。 *topic主题
约束与限制 当前仅支持MRS数据源的安全诊断能力。 安全诊断的扫描任务超时时间为1小时。 数据权限控制诊断项,空间管理员与安全管理员仅统计用户,不统计用户组成员。 诊断数据安全风险 数据安全诊断当前支持敏感数据保护、数据权限控制和数据源保护三大诊断项,诊断详情如图1所示。 图1 数据安全诊断详情
创建一个到DLI的连接,数据连接类型选择“数据湖探索(DLI)”,数据连接名称设置为“dli”。 完成设置后,单击“测试”,测试成功后单击“确定”,完成DLI数据连接的创建。 图2 创建数据连接 DLI连接创建完成后,跳转到数据开发页面。 图3 跳转到数据开发页面 参见图4,在DLI连接上右键
终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。 终止当前作业执行计划:停止当前作业运行,当前作业实例状态显示为“失败”。 继续执行下一节点:忽略当前节点失败,当前作业实例状态显示为“忽略失败”。 挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以
connection. 每个用户只能创建一个DLI连接。 请检查DLI连接。 400 DLF.6309 The connection name has been used by another connection. 连接名称已经在其他连接占用。 请检查连接名称是否被其他连接占用。 400 DLF
ORACLE数据连接参数说明 DIS数据连接参数说明 主机连接参数说明 OBS数据连接参数说明 Apache HDFS数据连接参数说明 MRS Hudi数据连接参数说明 Elasticsearch数据连接参数说明 Rest Client数据连接参数说明 DMS Kafka数据连接参数说明
#{expr} 其中,“expr”指的是表达式。“#”和“{}”是数据开发模块EL中通用的操作符,这两个操作符允许您通过数据开发模块内嵌对象访问作业属性。 举例 在Rest Client节点的参数“URL参数”中使用EL表达式“tableName=#{JSONUtil.path(Job
数据目录”模块,进入数据目录页面。 在左侧导航栏单击“数据目录”,选择“业务资产”页签,然后在筛选条件中选择业务对象,将显示符合条件的业务资产。 选择“技术资产”页签,然后在筛选条件中“数据连接”选择所需查看的连接,“类型”选择“Table”,右侧页面将显示符合条件的所有的元数据。
问题案例总览 表1 问题案例总览 类型 相关文档 网络打通 数据源和资源组网络不通如何排查? 数据源安全组放通哪些端口可满足Migration访问? Hudi 如何配置Hudi Compaction的Spark周期任务? DWS MySQL到DWS实时同步中,同步新增列的DDL时报错怎么办?
Jar包上传至OBS桶中,并在“资源管理”页面中新建资源,具体操作请参考新建资源。 用户可以在SQL中调用插入Jar包中的自定义函数。 DLI队列 是 默认选择“共享队列”,用户也可以选择自定义的独享队列。 说明: 当子用户在创建作业时,子用户只能选择已经被分配的队列。 当前由于DL
脚本页签。 在MRS API连接模式下,MRS Spark SQL和MRS Hive SQL脚本运行完以后,在执行结果中查看运行日志,增加一键跳转MRS Yarn查看日志的链接。 企业模式下,开发脚本时,鼠标放置在上,单击“前往发布”跳转到任务发布页面。 支持对“已提交”和“未提
购买DataArts Studio实例 购买DataArts Studio基础包 (可选)购买DataArts Studio功能增量包 (可选)购买规格增量包
您已购买DataArts Studio实例。 增量包大体可分为功能增量包与规格增量包,功能增量包用于拓展DataArts Studio实例的功能,规格增量包用于增加DataArts Studio实例的配额。当DataArts Studio实例使用配额接近或达到规格的情况下,您可以购买如下规格增量包:
String 连接器名称,对应的连接参数如下:generic-jdbc-connector:关系数据库连接。obs-connector:OBS连接。hdfs-connector:HDFS连接。hbase-connector:HBase连接、CloudTable连接。hive-co
个工作空间分配。 总使用配额:表示当前实例下已使用的总配额,由系统自动统计。 总分配配额:表示当前实例下分配给所有工作空间可使用的总配额,由系统自动统计。 总配额:表示当前实例所拥有的最大总配额,固定值不可修改。 前提条件 修改工作空间的用户账号,需要满足如下任一条件: DAYU