检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
Administrator或者数据安全管理员可以创建、修改或删除数据密级、分类和识别规则,其他普通用户无权限操作。 敏感数据识别过程中,如果规则为内容识别类型(即内置规则和内容识别类型的自定义规则),则仅当数据表中某字段匹配规则的记录数/总记录数>=指定阈值(默认80%)时,才认为该字段为敏感字段,并为之匹配相应密级和分类。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
编辑:支持对采集任务(状态为已启动、未启动、运行失败)的采集策略强相关参数进行修改,不支持修改数据源类型。 运行:单击“运行”,可单次运行此采集任务,并可在“任务监控”页面查看其状态和相关日志信息。 启动调度:当其状态为“已停止”,则可按照所配置的调度方式启动调度运行。 停止调度:当调度状态为“调度中”,则可停止调度。
application/json;charset=UTF-8 Authorization 否 String 使用AK/SK进行认证时该字段必选。 Host 否 String 使用AK/SK进行认证时该字段必选。 表3 Body参数说明 参数名 是否必选 参数类型 说明 name 是 String 新的作业名称。
由于企业模式下需要区分开发环境和生产环境,因此您需要分别准备对应生产环境和开发环境的两套数据湖服务,用于隔离开发和生产环境: 对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS),DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发
{cluster_id}:集群ID,可在CDM集管理界面,单击集群名称查看。 修改JSON 根据您的业务需要,可以修改JSON Body。这里以1天为周期,where子句作为抽取数据时的判断条件(一般使用时间字段来作为增量迁移时的判断条件),每天迁移昨天新增的数据。 修改where子句,增量某个时间段的数据:
华为FusionInsight解决方案,对应的各服务如下: 数据库: 关系型数据库包括:云数据库RDS、云数据库 GaussDB(for MySQL)、云数据库 GaussDB、云数据库 PostgreSQL、云数据库 SQL Server等。 非关系型数据库包括:文档数据库服务DDS、云数据库 GeminiDB(兼
参数类型 描述 target_field_id String 目标字段ID,当前表的某个字段,ID字符串。 target_field_name String 目标字段编码。 field_ids String 来源字段ID,多个ID以逗号分隔。 transform_expression
参数类型 描述 target_field_id String 目标字段ID,当前表的某个字段,ID字符串。 target_field_name String 目标字段编码。 field_ids String 来源字段ID,多个ID以逗号分隔。 transform_expression
行。一般使用数据均匀分布的字段,例如以自然增长的序号字段作为分片字段。 单击输入框后面的按钮可进入字段选择界面,用户也可以直接输入抽取分片字段名。 说明: 抽取分区字段支持TINYINT、SMALLINT、INTEGER、BIGINT、REAL、FLOAT、DOUBLE、NUME
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
修改资源 功能介绍 此接口可以修改指定资源,修改时,请指定资源ID。 资源类型和资源目录不支持修改。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 PUT /v1/{project_id}/resources/{resource_id}
据过滤及在字段映射页面添加新字段的需求,选择HDFS方式即可。 HDFS文件方式读取数据时,性能较好,但不支持使用WHERE条件做数据过滤及在字段映射页面添加新字段。 JDBC方式读取数据时,支持使用WHERE条件做数据过滤及在字段映射页面添加新字段。 HDFS 数据库 输入或选
DAY)}' 抽取分片字段 “使用SQL语句”选择“否”时,显示该参数,表示抽取数据时使用该字段进行数据切分,CDM依据此字段将作业分割为多个任务并发执行。 一般使用数据均匀分布的字段,例如以自然增长的序号字段作为分片字段。 单击输入框后面的按钮可进入字段选择界面,用户也可以直接输入抽取分片字段名。
-1,DAY)}' 抽取区分字段 “使用SQL语句”选择“否”时,显示该参数,表示抽取数据时使用该字段进行数据切分,CDM依据此字段将作业分割为多个任务并发执行。一般使用数据均匀分布的字段,例如以自然增长的序号字段作为分区字段。 单击输入框后面的按钮可进入字段选择界面,用户也可以直接输入抽取分区字段名。
布列的更多信息,请参见数据仓库服务。 DWS主键或表只有一个字段时,要求字段类型必须是如下常用的字符串、数值、日期类型。从其他数据库迁移到DWS时,如果选择自动建表,主键必须为以下类型,未设置主键的情况下至少要有一个字段是以下类型,否则会无法创建表导致CDM作业失败。 INTEGER
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
参数类型 描述 target_field_id String 目标字段ID,当前表的某个字段,ID字符串。 target_field_name String 目标字段编码。 field_ids String 来源字段ID,多个ID以逗号分隔。 transform_expression
对应的目的端数据源 关系型数据 MySQL Hadoop:MRS Hudi 消息系统:DMS Kafka 数据仓库:DWS SQLServer Hadoop:MRS Hudi 说明: 该链路目前需申请白名单后才能使用。如需使用该链路,请联系客服或技术支持人员。 PostgreSQL 数据仓库:DWS