检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取入口API的请求参数的值:${节点编码|入参名} 说明: 当入参位置为Query、Header、Path或入参位置为Body的POST请求时,支持此表达式。 入口API的节点编码为EntryApi_3909f,入参userId位置为Path,获取请求参数的值:${EntryApi_3909f|userId}
表达式:StringUtils.stripStart(value,null) 如果当前字段为字符串类型,获取字符串指定位置后(索引从0开始,包括指定位置的字符)的子字符串,指定位置如果为负数,则从末尾往前计算位置,末尾第一位为-1。例如获取“abcde”第2个字符(即c)及之后的字符串,则转换后为“cde”。
待注册API服务所在的Host,不能以http://或https://开头,并且不包含Path。 后端服务PATH 待注册API服务所在的Path,Path中支持参数,参数要放在{}中,如/user/{userid}。 后端超时(ms) 设置后端超时时间。 后端服务参数 请求参数位置支持Path、Header
表达式:StringUtils.stripStart(value,null) 如果当前字段为字符串类型,获取字符串指定位置后(索引从0开始,包括指定位置的字符)的子字符串,指定位置如果为负数,则从末尾往前计算位置,末尾第一位为-1。例如获取“abcde”索引为2的字符(即c)及之后的字符串,则转换后为“cde”。
S时才可以选择此算法。 支持配置开始位置、结束位置和掩码标志。 dws数值型掩码 从start到end的位置脱敏成指定的数字。 仅当静态脱敏任务中源端、目标端数据源同为DWS,且执行引擎为DWS时才可以选择此算法。 支持配置开始位置、结束位置和掩码标志。 身份证号码掩码 掩码身份证号。
导入作业 功能介绍 将存放在OBS桶的作业文件导入到DLF,一次可以导入一个或多个作业。 执行本接口之前,需要将作业文件放到OBS的桶中。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v1/{project_id}/jobs/import
在数据开发主界面,单击左侧导航上的“资源管理”,进入资源管理页面。 单击资源目录中的,选择“导入资源”。 图8 选择导入资源 在弹出的导入资源窗口中,“文件位置”选择为“本地”,选择从旧空间导出的资源文件,“重名处理策略”默认选择“覆盖”,单击下一步。 图9 导入资源 资源开始导入,导入成功后系统会显示导入的资源名。
接,采集其元数据) 云搜索服务CSS 图引擎服务GES 对象存储服务OBS MRS Hudi组件(MRS Hudi作为一种数据格式,元数据存放在Hive中,操作通过Spark进行。在Hudi表开启“同步hive表配置”后,可通过采集MRS Hive元数据的方式采集Hudi表的元数据)
retry_location 否 String 作业重跑的位置。error_node (从错误节点开始重跑) first_node (从第一个节点开始重跑)、 specified_node (从指定的节点开始) ,默认从重跑位置默认节点开始。 job_param_version 否 String
参数 说明 上次暂停时间 节点暂停运行的起始时间。 未运行任务数 节点暂停期间没有运行的任务数量。 运行位置 “运行暂停期间任务”的参数。 表示选择节点暂停运行后,恢复运行时的启动位置。 从暂停节点开始运行 从子作业第一个节点开始运行 处理并发数 “运行暂停期间任务”的参数。 表示选择任务处理的数量。
DWS数据连接开启SSL时测试连接失败怎么办? 可能原因 可能是由于DWS集群的三权分立功能导致的。 解决方案 请在DWS控制台,单击进入对应的DWS集群后,选择“安全设置”,然后关闭三权分立功能。 图1 关闭DWS集群三权分立功能 父主题: 管理中心
导入连接(待下线) 连接管理能力由管理中心统一提供,相关接口已不再维护,推荐使用管理中心API进行连接管理。 功能介绍 将存放在OBS桶的连接文件导入到数据开发模块中,一次可以导入一个或多个连接。执行本接口之前,需要将连接文件放到OBS的桶中。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。
在有多个指标的情况下,可以通过操作列调整指标的排序。单击图标可进行指标的上移或者下移,双击图标可以输入序号将当前行移动到指定位置。 图10 调整指标排序 图11 移动到指定位置 删除指标 如果需要删除自定义指标,单击操作列的图标就可删除该指标。 图12 删除指标 完成自定义指标的设置后,在
配置时间间隔,检测DIS通道下是否有新的消息。时间间隔单位可以配置为秒或分钟。 读取策略 选择数据的读取位置: 从上次位置读取:首次启动时,从最新的位置读取数据。后续启动时,则从前一次记录的位置读取数据。 从最新位置读取:每次启动都会从最新的位置读取数据。 失败策略 选择调度失败后的策略: 挂起 忽略失败,读取下一个事件
面。 图1 资源迁移 单击“新建导出”,配置文件的OBS存储位置和文件名称。 图2 选择导出文件 单击“下一步”,勾选导出的模块。 图3 勾选导出的模块 单击“下一步”,等待导出完成,资源包导出到所设置的OBS存储位置。 图4 导出完成 导出资源耗时1分钟仍未显示结果则表示导出失
例如要迁移3个文件,第2个文件迁移到一半时由于网络原因失败,再次启动迁移任务时,会跳过第1个文件,从第2个文件开始重新传,但不能从第2个文件失败的位置重新传。 文件迁移时,单个任务支持千万数量的文件,如果待迁移目录下文件过多,建议拆分到不同目录并创建多个任务。 父主题: 关键操作指导
例如要迁移3个文件,第2个文件迁移到一半时由于网络原因失败,再次启动迁移任务时,会跳过第1个文件,从第2个文件开始重新传,但不能从第2个文件失败的位置重新传。 文件迁移时,单个任务支持千万数量的文件,如果待迁移目录下文件过多,建议拆分到不同目录并创建多个任务。 父主题: 数据迁移进阶实践
Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 文件/路径过滤器 参数位置:在创建表/文件迁移作业时,如果源端数据源为文件类型,那么源端作业参数的高级属性中可以看到“过滤类型”参数,该参数可选择:通配符或正则表达式。
分页参数名称,默认放到query参数中。如果参数名设置为page_index,也支持通过#page_index获取。 page_index 数据路径 数据在json中的位置,默认为根路径,不填则取默认。 student 数据总数 数据总数,支持填写固定值,也支持从接口中获取。 固定值,例如:100000。 支
Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 文件/路径过滤器 参数位置:在创建表/文件迁移作业时,如果源端数据源为文件类型,那么源端作业参数的高级属性中可以看到“过滤类型”参数,该参数可选择:通配符或正则表达式。