检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
枚举值: API_SPECIFIC_TYPE_CONFIGURATION: 配置类API API_SPECIFIC_TYPE_SCRIPT: 脚本类API API_SPECIFIC_TYPE_REGISTER:注册类API manager String API审核人。 create_user
String 数据连接类型。 databases String 数据库名,当存在多个值时以逗号分隔。 sql String 自定义规则中的SQL脚本。 tables String 表名,当存在多个值时以逗号分隔。 reference_tables String 对照表名,当存在多个值时以逗号分隔。
第二类工具,关注如何对湖中的数据进行分析、挖掘、利用。数据湖需要具备完善的数据管理能力、多样化的数据分析能力、全面的数据生命周期管理能力、安全的数据获取和数据发布能力。如果没有这些数据治理工具,元数据缺失,湖里的数据质量就没法保障,最终会由数据湖变质为数据沼泽。 随着大数据和AI
在参数值文本框后方,单击,编辑参数表达式,更多表达式请参见表达式概述。 修改 在参数名和参数值的文本框中直接修改。 掩码显示 在参数值为密钥等情况下,从安全角度,请单击将参数值掩码显示。 删除 在参数值文本框后方,单击,删除作业参数。 常量 新增 单击“新增”,在文本框中填写作业常量的名称和参数值。
String 实例模式,这里为Standalone。 subnetid String 实例的子网ID。 securegroup String 安全组ID。 vpc String 实例的VPC ID。 azcode String 可用区名称。 region String 局点名称。 created
终止、重跑等操作。 只有支持委托提交作业的MRS集群,才支持对账作业周期调度。 支持委托方式提交作业的MRS集群有: MRS的非安全集群。 MRS的安全集群,集群版本大于 2.1.0,并且安装了MRS 2.1.0.1以上的补丁。 表3 配置周期调度参数 参数名 说明 生效日期 调度任务的生效日期。
查看API工作流授权:在API工作流列表页面,单击对应工作流操作栏中的“查看授权”,即可进入API完整信息界面,并对工作流进行授权。 注意,当入口API的安全认证方式为APP认证或IAM认证时,在调用API工作流前需要完成创建应用和将API授权给应用。工作流授权方式与API授权方式基本一致,可参考授权API调用或申请API授权。
或Schema。 表前缀:表示存储异常数据的表的前缀。 表后缀:表示存储异常数据的表的后缀。 配置完成后单击保存配置。 (可选)质量规则的检查范围默认是全表,如需要精确定位分区查询数据,请填写where条件。 图10 where条件开关 配置完成后,单击“确定”,完成维度表字段批量关联质量规则。
集群所在虚拟私有云ID。 subnet_id String 集群所在子网ID。 security_group_id String 集群所在安全组ID。 nodes Array of InstanceNodeDTO objects 集群节点列表。 表6 FlavorDTO 参数 参数类型
集群所在虚拟私有云ID。 subnet_id String 集群所在子网ID。 security_group_id String 集群所在安全组ID。 nodes Array of InstanceNodeDTO objects 集群节点列表。 表4 FlavorDTO 参数 参数类型
search_name_and_description 否 Boolean 是否按名称和描述搜索。 security_levels 否 Array of strings 安全密级列表。 term_names 否 Array of strings 标签列表。 type_names 否 Array of strings
前缀,作业将自动移除前缀并传入底层Kafka客户端,具体参数可参考Apache Kafka官方文档中的配置说明。 刷新源表和目标表映射,检查源端Topic和目的端Topic映射关系是否正确,支持用户根据实际需求修改映射后的目的端Topic名称,可以配置为一对一、多对一的映射关系。
effect_objs String 影响信息,只读。 change_props String 变化信息,只读。 sql_ddl String SQL脚本,只读。 physical_table String 同步状态。 枚举值: NO_NEED: 未同步 CREATE_SUCCESS: 创建成功
ClusterDetailInstance objects 集群的节点信息,请参见instances参数说明。 security_group_id String 安全组id。 subnet_id String 子网id。 vpc_id String 虚拟私有云ID。 customerConfig CustomerConfig
终止、重跑等操作。 只有支持委托提交作业的MRS集群,才支持质量作业周期调度。 支持委托方式提交作业的MRS集群有: MRS的非安全集群。 MRS的安全集群,集群版本大于2.1.0,并且安装了MRS 2.1.0.1以上的补丁。 表3 配置周期调度参数 参数名 说明 生效日期 调度任务的生效日期。
effect_objs String 影响信息,只读。 change_props String 变化信息,只读。 sql_ddl String SQL脚本,只读。 physical_table String 同步状态。 枚举值: NO_NEED: 未同步 CREATE_SUCCESS: 创建成功
NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) Elasticsearch仅支持非安全模式。 云搜索服务(CSS) 导入数据到CSS推荐使用Logstash,请参见使用Logstash导入数据到Elasticsearch。
NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) Elasticsearch仅支持非安全模式。 云搜索服务(CSS) 导入数据到CSS推荐使用Logstash,请参见使用Logstash导入数据到Elasticsearch。
发生重启时不会发生数据重复。然而这会使数据在 checkpoint 完成时才会可见,因此请按需调整 checkpoint 的间隔。 刷新源表和目标表映射,检查映射关系是否正确。 表8 源表与目标表映射 同步场景 配置方式 整库 支持用户根据实际需求修改映射后的目的端Topic名称,可以配置为一对一、多对一的映射关系。
Server 搜索:Elasticsearch 公测中:表格存储服务(CloudTable),云搜索服务(CSS) Elasticsearch仅支持非安全模式。 公测中 表格存储服务(CloudTable HBase) 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS