检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
从字符串中获取指定字符串的第一个索引,没有则返回整数-1。例如从“aabaabaa”中获取“ab”的第一个索引1。 表达式:StringUtils.indexOf(value,"ab") 从字符串中获取指定字符串的最后一个索引,没有则返回整数-1。例如从“aFkyk”中获取“k”的最后一个索引4。
图1 批量导出 在弹出的窗口中,选择“全部作业和连接”,单击“确认”,导出所有作业和连接。 图2 全部导出 导出成功后,通过浏览器下载地址,获取到导出的JSON文件。 新空间导入作业和连接 请您登录控制台首页,选择并进入新工作空间的“数据集成”模块,然后执行如下操作进行批量导入。 在
数据开发节点运行中报TOKEN不合法? 问题描述 数据开发节点运行中报TOKEN不合法。 解决方案 请确认当前用户在IAM的权限管理中权限是否有变更、是否退出用户组,或者用户所在的用户组权限策略是否有变更? 如果有变更,请重新登录即可解决。 父主题: 数据开发
Apache Hive数据连接参数说明 表1 Apache Hive数据连接 参数 是否必选 说明 数据连接类型 是 Apache Hive连接固定选择为Apache Hive。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签
在“集群管理”页面中单击“开启计费”按钮。 图1 开启集群计费 在购买数据服务专享版集群增量包页面中,选择购买时长,单击“立即购买”后提交。 图2 购买增量包 数据服务专享版API解冻 在DataArts Studio“空间管理”页签中,单击工作空间操作列“编辑”链接。 图3 编辑空间管理
String jsonPath) 返回json字符串指定路径下的字段值。类似于XPath,path方法可以通过路径检索或设置JSON,其路径中可以使用.或[]等访问成员、数值,例如:tables[0].table_name。 字符串变量str的内容如下: { "cities":
Studio中,技术元数据即为技术资产,显示数据库、数据表、数据量的数量及其详情。 业务元数据从业务角度描述了数据仓库中的数据,它提供了介于使用者和实际系统之间的语义层,使得不懂计算机技术的业务人员也能够“读懂”数据仓库中的数据。在DataArts Studio中,业务元数据包
监控,我们必须先在DataArts Studio数据目录模块中对SDI贴源层数据进行元数据采集并监控。 采集并监控元数据 在DataArts Studio控制台首页,选择对应工作空间的“数据目录”模块,进入数据目录页面。 在左侧导航栏选择“元数据采集 > 任务管理”,然后在任务树
d}--@{name}。 schema:该参数会显示在写入的数据的消息体中,此处配置该参数时后续显示为设置的参数;如果没有配置,默认使用原表的schema值。 table:该参数会显示在写入的数据的消息体中,此处配置该参数时后续显示为设置的参数;如果没有配置,默认使用源端的表名。
数据源安全组放通哪些端口可满足Migration访问? 如何配置Hudi Compaction的Spark周期任务? MySQL到DWS实时同步中,同步新增列的DDL时报错怎么办? MySQL到DWS实时同步中,DWS为什么需要对主键null值进行过滤? Kafka到DLI实时同步中,作业运行失败,报“Array
终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。 终止当前作业执行计划:停止当前作业运行,当前作业实例状态显示为“失败”。 继续执行下一节点:忽略当前节点失败,当前作业实例状态显示为“忽略失败”。 挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以
如果当前任意组件内还有业务资源,则删除工作空间会弹出失败提示窗口,无法删除。 登录DataArts Studio控制台,进入“空间管理”页签。 在“空间管理”页面,找到所需删除的工作空间,单击其所在行的“更多 > 删除”。 在“删除工作空间”对话框中,如果确认删除,请单击“确认”。 如果当前各组件内还有
有则替换,无则新增:以指定的过滤键作为查询条件。如果在集合中找到匹配的记录,则替换该记录。如果不存在,则添加新记录。 替换:使用指定的过滤键作为查询条件。如果在集合中找到匹配的记录,则替换该记录。如果没有,则不会添加新记录。 新增 导入前准备语句 执行任务之前率先执行的SQL语句。目前仅允许执行一条SQL语句。
图接口时,部分URI中需要填入guid。 资产guid可通过相应查询接口获取,也可以通过控制台获取,推荐您通过相应查询接口获取。 控制台获取操作相对复杂,如下所示,为您介绍如何通过控制台获取guid资产: 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,
String 源端连接类型,对应的连接参数如下: generic-jdbc-connector:关系数据库连接。 obs-connector:OBS连接。 hdfs-connector:HDFS连接。 hbase-connector:HBase连接、CloudTable连接。 hive-connector:Hive连接。
AM服务获取的用户Token进行安全认证。 API工具调用:需要调用IAM服务的获取用户Token接口获取Token,再使用API工具调用。 通过API工具调用IAM认证方式的API API工具调用场景可使用IAM认证方式。 无认证 低 无需授权,所有用户均可访问。 API工具调用:直接调用,无需认证信息。
6及以上版本的数据服务专享版集群支持API编排。 API工作流发布前,需确保其中的普通API均已处于已发布状态。 算子和工作流简介 在API工作流编排页面,您可以自由拖拽各类算子到画布中,然后基于特定的业务逻辑和流程通过连线编排工作流,最后配置算子,完成后即可保存、调试及发布工作流。 API编排支持五类可拖
ion访问? Hudi 如何配置Hudi Compaction的Spark周期任务? DWS MySQL到DWS实时同步中,同步新增列的DDL时报错怎么办? MySQL到DWS实时同步中,DWS为什么需要对主键null值进行过滤? Kafka Kafka到DLI实时同步中,作业运行失败,报“Array
完成同步后,若有同步失败的主题,系统会自动弹出同步结果明细,可查看同步失败的主题名称。 图2 同步主题为目录 在“规则模板”页面,单击“新建”,在弹出的新建规则模板页面中进行配置。 图3 新建规则模板 在弹出的新建规则模板页面中输入规则模板名称,选择规则匹配的维度,定义SQL模板并对输出结果进行说明。 维度:数据质
终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。 终止当前作业执行计划:停止当前作业运行,当前作业实例状态显示为“失败”。 继续执行下一节点:忽略当前节点失败,当前作业实例状态显示为“忽略失败”。 挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以