检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
QUALITY_RULE: 质量规则 SECRECY_LEVEL: 密级 STANDARD_ELEMENT: 数据标准 STANDARD_ELEMENT_TEMPLATE: 数据标准模板 SUBJECT: 主题 SUMMARY_DIMENSION_ATTRIBUTE: 汇总表维度属性 SUMMARY_INDEX:
QUALITY_RULE: 质量规则 SECRECY_LEVEL: 密级 STANDARD_ELEMENT: 数据标准 STANDARD_ELEMENT_TEMPLATE: 数据标准模板 SUBJECT: 主题 SUMMARY_DIMENSION_ATTRIBUTE: 汇总表维度属性 SUMMARY_INDEX:
使用配置文件 “数据格式”选择为“CDC场景”时配置,用于配置OBS文件。 否 OBS链接 选择OBS连接器信息。 obs_link OBS桶 选择OBS桶。 obs_test 配置文件 选择OBS的配置文件。 /obs/config.csv 最大消息数/poll 可选参数,每次向Kafka请求数据限制最大请求记录数。
Delete OBS 约束限制 该功能依赖于OBS服务。 功能 通过Delete OBS节点在OBS服务中删除桶和目录。 参数 用户可参考表1和表2配置Delete OBS节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“
WorkspaceVO object 模型信息。 data_format 否 String 数据格式。 obs_bucket 否 String obs桶。 obs_location 否 String obs路径。 configs 否 String 其他配置。 owner 否 String 责任人。
QUALITY_RULE: 质量规则 SECRECY_LEVEL: 密级 STANDARD_ELEMENT: 数据标准 STANDARD_ELEMENT_TEMPLATE: 数据标准模板 SUBJECT: 主题 SUMMARY_DIMENSION_ATTRIBUTE: 汇总表维度属性 SUMMARY_INDEX:
单击“启动每日备份”,打开“OBS文件浏览”页面,选择OBS文件夹,设置备份数据的存储位置。 图1 备份管理 每日备份在每日0点开始备份昨日的所有作业、脚本、资源和环境变量,启动当日不会备份昨日的作业、脚本、资源和环境变量。 选择OBS存储路径时,若仅选择至桶名层级,则备份对象自动存储在以“备
QUALITY_RULE: 质量规则 SECRECY_LEVEL: 密级 STANDARD_ELEMENT: 数据标准 STANDARD_ELEMENT_TEMPLATE: 数据标准模板 SUBJECT: 主题 SUMMARY_DIMENSION_ATTRIBUTE: 汇总表维度属性 SUMMARY_INDEX:
如果Elasticsearch服务器是在本地数据中心或第三方云上,需要确保Elasticsearch可通过公网IP访问,或者是已经建立好了企业内部数据中心到华为云的VPN通道或专线。 创建CDM集群并绑定EIP 如果是独立CDM服务,参考创建集群创建CDM集群;如果是作为DataArts Studi
在管理中心页面,单击“资源迁移”,进入资源迁移页面。 图1 资源迁移 单击“新建导出”,配置文件的OBS存储位置和文件名称。 图2 选择导出文件 单击“下一步”,勾选导出的模块。 图3 勾选导出的模块 单击“下一步”,等待导出完成,资源包导出到所设置的OBS存储位置。 图4 导出完成 导出资源耗时1分钟仍未显示结果则
QUALITY_RULE: 质量规则 SECRECY_LEVEL: 密级 STANDARD_ELEMENT: 数据标准 STANDARD_ELEMENT_TEMPLATE: 数据标准模板 SUBJECT: 主题 SUMMARY_DIMENSION_ATTRIBUTE: 汇总表维度属性 SUMMARY_INDEX:
QUALITY_RULE: 质量规则 SECRECY_LEVEL: 密级 STANDARD_ELEMENT: 数据标准 STANDARD_ELEMENT_TEMPLATE: 数据标准模板 SUBJECT: 主题 SUMMARY_DIMENSION_ATTRIBUTE: 汇总表维度属性 SUMMARY_INDEX:
not_null Boolean 是否不为空。 stand_row_id String 关联的数据标准的ID,ID字符串。 stand_row_name String 关联的数据标准名称,只读。 quality_infos Array of QualityInfoVO objects
Hive开启LDAP认证时配置的密码。 - OBS支持 需服务端支持OBS存储。在创建Hive表时,您可以指定将表存储在OBS中。 否 访问标识(AK) 当“OBS支持”参数选择为“是”时,此参数是必选项。请注意,此处AK/SK对应的账号应具备OBS Buckets Viewer系统权限,否则会无法访问OBS并报“403
图5 创建OBS连接 单击“保存”回到连接管理界面。 创建迁移作业 选择“表/文件迁移 > 新建作业”,开始创建从OBS迁移数据到DLI的任务,如图6所示。 图6 创建OBS到DLI的迁移任务 作业名称:用户自定义作业名称。 源连接名称:选择创建OBS连接中的“obslink”。
作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中,您也可以自定义日志和DLI脏数据存储路径,支持基于工作区全局配置OBS桶。 约束限制 该功能依赖于OBS服务。 OBS路径仅支持OBS桶,不支持并行文件系统。 前提条件 修改工作空间的用户账号,需要满足如下任一条件:
当数据密级已经无法满足大数据量下的数据分级分类诉求时,您可以进一步为不同价值的数据定义数据分类,以更好地管理和分组计量自己的数据。 定义识别规则 定义敏感数据识别标准。 定义识别规则组 通过定义敏感数据识别规则及规则组,来有效识别数据库内的敏感数据。 敏感数据发现 创建并运行敏感数据识别任务。 敏感数据分布
QUALITY_RULE: 质量规则 SECRECY_LEVEL: 密级 STANDARD_ELEMENT: 数据标准 STANDARD_ELEMENT_TEMPLATE: 数据标准模板 SUBJECT: 主题 SUMMARY_DIMENSION_ATTRIBUTE: 汇总表维度属性 SUMMARY_INDEX:
通过ID查看码表的详情信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/code-tables/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
启动作业,配置变量参数,作业配置无变量时,为空对象。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 submissions Array of StartJobSubmission objects 作业运行信息,请参见submission参数说明。 表5 StartJobSubmission