检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
'c967a237-cd6c-470e-906f-a8655461897e.apigw.cn-north-1.huaweicloud.com' ); 进行签名,执行此函数会生成一个$curl上下文变量。然后为请求添加x-Authorization头,值与Authorization头相同。 1 2 3
只能包含英文字母、数字和下划线,且必须以英文字母开头。 所属流程 选择所属流程信息。如果您还未创建流程,请参见流程设计进行创建。 关联指标定义 选择需要关联的指标定义。选如果您还未创建指标定义,请参见指标定义进行创建。 数据类型 选择复合指标的数据类型。 例如,双精度(DOUBLE)。 *复合指标类型 当前支持如下几种类型。
名称:添加后缀_encryption_13位时间戳。 相关操作 运行文件加密任务:在文件加密页面,单击对应操作栏中的“运行”,即可运行文件加密任务。文件加密任务创建后会自动执行加密,加密状态为失败的情况下才能运行任务。 下载文件加密任务:在文件加密页面,单击对应操作栏中的“下载”
申请者选择希望接收消息的终端记录,进行请求订阅,订阅状态为“已确认 ”后即为订阅成功。 当到期提醒使用数据开发通知主题时,会由于在数据开发侧添加的订阅自带的订阅筛选策略,导致仅请求订阅还是不会收到通知。因此在使用数据开发通知主题的场景下,除了请求订阅外,还需要再进行关联订阅后才能收到权限到期提醒。
作业失败重试:如果作业执行失败,可选择是否自动重试,这里保持默认值“不重试”。 作业分组:选择作业所属的分组,默认分组为“DEFAULT”。在CDM“作业管理”界面,支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行:如果需要配置作业定时自动执行,可打开此配置。这里保持默认值“否”。
正则表达式分隔半结构化文本 在创建表/文件迁移作业时,对简单CSV格式的文件,CDM可以使用字段分隔符进行字段分隔。但是对于一些复杂的半结构化文本,由于字段值也包含了分隔符,所以无法使用分隔符进行字段分隔,此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置,要求源连接为对象存
正则表达式分隔半结构化文本 在创建表/文件迁移作业时,对简单CSV格式的文件,CDM可以使用字段分隔符进行字段分隔。但是对于一些复杂的半结构化文本,由于字段值也包含了分隔符,所以无法使用分隔符进行字段分隔,此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置,要求源连接为对象存
供服务。 前提条件 已调试成功待发布的API。 约束与限制 不支持单个或多个用户同时发布API到同一专享版集群,系统会提示“当前操作正在执行中,请稍后重试”。 操作步骤 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航
设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试 是 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。 超时重试 最大重试次数 重试间隔时间(秒)
Elasticsearch连接器仅支持非安全模式的Elasticsearch集群。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 连接Elasticsearch时,相关参数如表1所示。 表1 Elasticsearch连接参数
当前仅支持简单模式的工作空间资源管控,不支持企业模式。 如果未对某资源进行赋权,则默认该资源权限放开,不做权限管控。 当前仅数据开发组件支持空间资源权限策略,其他组件不受空间资源权限策略限制。在数据开发组件如下场景中,会根据空间资源权限策略进行鉴权。 脚本开发或者作业开发中,选择连接或作业委托、公共委托。
\[(.*)\] ([\w\.]*) (\w.*).* 首行为标题行 “文件格式”选择“CSV格式”时才有该参数。在迁移CSV文件到表时,CDM默认是全部写入,如果该参数选择“是”,CDM会将CSV文件的前N行数据作为标题行,不写入目的端的表。 是 编码类型 文件编码类型,例如:“
管理资源 用户可以通过资源管理功能,上传自定义代码或文本文件作为资源,在节点运行时调用。可调用资源的节点包含DLI Spark、MRS Spark、MRS MapReduce和DLI Flink Job。 创建资源后,配置资源关联的文件。在作业中可以直接引用资源。当资源文件变更,
加需要签名的其他头域。 1 r.headers = { "x-stage":"RELEASE", "name":"value"} 进行签名,执行此函数会生成请求参数,用于创建http(s)请求,请求参数中添加了用于签名的X-Sdk-Date头和Authorization头。然后
Kafka连接参数说明 MRS Kafka 连接MRS上的Kafka数据源时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 MRS Kafka连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接
核权限。 审核人不支持手工添加,需要先在“DataArts Studio首页-空间管理”的工作空间内编辑并添加空间成员,以便添加审核人时进行选择。 勾选短信通知或邮件通知,并添加审核人后,DataArts Studio将自动在消息通知服务(SMN)中创建对应的主题。 主题的显示名
文件增量迁移 CDM支持对文件类数据源进行增量迁移,全量迁移完成之后,第二次运行作业时可以导出全部新增的文件,或者只导出特定的目录/文件。 目前CDM支持以下文件增量迁移方式: 增量导出指定目录的文件 适用场景:源端数据源为文件类型(OBS/HDFS/FTP/SFTP)。这种增量
建立好主题设计信息后,可以对主题信息进行查找、编辑或删除操作。详情请参见管理主题设计。 主题设计概述 默认情况下,系统预设了“L1-主题域分组”、“L2-主题域”和“L3-业务对象”三层主题层级。 主题域分组:主题域分组是基于业务场景对主题域进行分组。 主题域:主题域是根据数据的性质对数据进行划分,性质相
文件增量迁移 CDM支持对文件类数据源进行增量迁移,全量迁移完成之后,第二次运行作业时可以导出全部新增的文件,或者只导出特定的目录/文件。 目前CDM支持以下文件增量迁移方式: 增量导出指定目录的文件 适用场景:源端数据源为文件类型(OBS/HDFS/FTP/SFTP)。这种增量
400 DLF.6205 The script execution instance does not exist. 脚本的执行实例不存在。 请检查脚本的执行实例。 400 DLF.6241 The resource to be queried does not exist. 查询的资源不存在。