检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka连接参数说明 MRS Kafka 连接MRS上的Kafka数据源时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 MRS Kafka连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接
DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理,所以创建LTS数据连接时,请选择一个CDM集群。如果没有可用的CDM集群,请参考创建CDM集群进行创建。 数据集成配置 域名 是 表示通过内部网络访问
表的详情信息。在详情页面,进入“数据预览”页签,可查看汇总表的预览数据。 图3 数据预览 父主题: 企业版:基于MRS Hive的出租车出行数据治理流程
文件增量迁移 CDM支持对文件类数据源进行增量迁移,全量迁移完成之后,第二次运行作业时可以导出全部新增的文件,或者只导出特定的目录/文件。 目前CDM支持以下文件增量迁移方式: 增量导出指定目录的文件 适用场景:源端数据源为文件类型(OBS/HDFS/FTP/SFTP)。这种增量
d:{ e:2, f:3 } } } 将拆成三个字段 [a.b.c], [a.b.d.e], [a.b.d.f]。 否 是 过滤条件 对源数据进行过滤,使用ES查询的参数q语法。 否 last_name:Smith 抽取元字段 是否抽取索引的元字段,目前只支持(_index、_type、_id、_score)。
文件增量迁移 CDM支持对文件类数据源进行增量迁移,全量迁移完成之后,第二次运行作业时可以导出全部新增的文件,或者只导出特定的目录/文件。 目前CDM支持以下文件增量迁移方式: 增量导出指定目录的文件 适用场景:源端数据源为文件类型(OBS/HDFS/FTP/SFTP)。这种增量
400 DLF.6205 The script execution instance does not exist. 脚本的执行实例不存在。 请检查脚本的执行实例。 400 DLF.6241 The resource to be queried does not exist. 查询的资源不存在。
当前仅支持简单模式的工作空间资源管控,不支持企业模式。 如果未对某资源进行赋权,则默认该资源权限放开,不做权限管控。 当前仅数据开发组件支持空间资源权限策略,其他组件不受空间资源权限策略限制。在数据开发组件如下场景中,会根据空间资源权限策略进行鉴权。 脚本开发或者作业开发中,选择连接或作业委托、公共委托。
KMS是一种安全、可靠、简单易用的密钥托管服务,对密钥的所有操作都会进行访问控制及日志跟踪,提供所有密钥的使用记录,满足审计和合规性要求。 绑定Agent 是 DataArts Studio无法直接与非全托管服务进行连接,需要提供DataArts Studio与非全托管服务通信的代理
查看码表详情 功能介绍 通过ID查看码表的详情信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/code-tables/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
查找业务限定 功能介绍 通过中英文名称、描述、创建者、审核人、限定分组id、修改时间状态分页查找限定信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/conditions 表1 路径参数 参数 是否必选 参数类型 描述 project_id
设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试 是 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。 超时重试 最大重试次数 重试间隔时间(秒)
核权限。 审核人不支持手工添加,需要先在“DataArts Studio首页-空间管理”的工作空间内编辑并添加空间成员,以便添加审核人时进行选择。 勾选短信通知或邮件通知,并添加审核人后,DataArts Studio将自动在消息通知服务(SMN)中创建对应的主题。 主题的显示名
Kafka到DLI实时同步中,作业运行失败,报“Array element access needs an index starting at 1 but was 0”怎么办? 问题描述 Kafka到DLI实时同步中,作业运行失败,报“Array element access needs
在详情页面,选择“日志信息”,在左侧日志列表中单击具体日志文件,即可实时查看作业的运行日志。 图1 日志信息1 图2 日志信息2 支持作业日志主题更换。 作业日志默认实时滚动更新,可在右上角去掉勾选“日志滚动”选项。 支持下载日志到本地,可单击右上角文件下载按钮进行下载。 父主题: 实时集成任务运维
KMS是一种安全、可靠、简单易用的密钥托管服务,对密钥的所有操作都会进行访问控制及日志跟踪,提供所有密钥的使用记录,满足审计和合规性要求。 绑定Agent 是 DataArts Studio无法直接与非全托管服务进行连接,需要提供DataArts Studio与非全托管服务通信的代理
修改识别规则接口 功能介绍 修改识别规则接口。 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/security/data-classification/rule/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
需要审批人在“审批中心”的“待审批”页签进行审批,只有当审批通过后,脚本才能提交成功。具体操作请参见审批配置。如果开关是关闭状态,则不需要审批,直接提交新版本即可。 如果要撤销已提交的审批流程,请您在“审批中心”的“我的申请”页签里进行撤销。修改完成后,可以重新提交审批。 开启了
您通过云监控服务可以对CDM集群的运行状态进行日常监控。您可以通过云监控管理控制台,直观地查看各项监控指标。 由于监控数据的获取与传输会花费一定时间,因此,监控显示的是当前时间5~10分钟前的状态。如果您的CDM集群刚创建完成,请等待5~10分钟后查看监控数据。 前提条件 CDM集群正常运行。 重启失败
密级权限管控仅支持对数据地图中已标记密级的字段在数据预览时进行权限管控,不支持对已标记密级的表进行权限管控。 用户/用户组和密级共同唯一标识一条密级权限管控策略,因此不支持创建同用户/用户组、同密级的策略。 同用户/用户组如果对应多个密级,则以最高密级为准进行密级权限管控。 创建敏感数据管控策略 在DataArts