-
DataArts Studio的会话超时时间是多少,是否支持修改? - 数据治理中心 DataArts Studio
DataArts Studio的会话超时时间是多少,是否支持修改? 会话超时时间指的是如果用户超过该时长未操作界面,会话将会失效,需要重新登录。 会话超时策略可以在IAM服务进行设置,如图所示。 会话超时策略默认开启,不能关闭,管理员可以设置会话超时的时长,会话超时时长默认为1个
-
OBS导入数据到SQL Server时出现Unable to execute the SQL statement怎么处理? - 数据治理中心 DataArts Studio
Cause : 将截断字符串或二进制数据。 原因分析 用户OBS中的数据超出了SQL Server数据库的字段长度限制。 解决方法 在SQL Server数据库中建表时,将数据库字段改大,长度不能小于源端OBS中的数据长度。 父主题: 数据集成
-
配置DWS目的端参数 - 数据治理中心 DataArts Studio
否 扩大字符字段长度 当选择自动创表时,迁移过程中可将字符类型的字段长度扩大为原来的3倍,再写入到目的表中。如果源端数据库与目的端数据库字符编码不一样,但目的表字符类型字段与源表一样,在迁移数据时,可能会有出现长度不足的错误。 应用场景主要是将有中文内容的字符字段导入到DWS时,需要自动将字符长度放大3倍。
-
关系数据库增量迁移 - 数据治理中心 DataArts Studio
移完成之后,可以增量迁移指定时间段内的数据(例如每天晚上0点导出前一天新增的数据)。 增量迁移指定时间段内的数据 适用场景:源端为关系型数据库,目的端没有要求。 关键配置:Where子句+定时执行作业。 前提条件:数据表中有时间日期字段或时间戳字段。 关系数据库增量迁移方式,只对
-
关系数据库增量迁移 - 数据治理中心 DataArts Studio
移完成之后,可以增量迁移指定时间段内的数据(例如每天晚上0点导出前一天新增的数据)。 增量迁移指定时间段内的数据 适用场景:源端为关系型数据库,目的端没有要求。 关键配置:Where子句+定时执行作业。 前提条件:数据表中有时间日期字段或时间戳字段。 关系数据库增量迁移方式,只对
-
数据安全概述 - 数据治理中心 DataArts Studio
数据服务等不同阶段。在数据动态流动场景下,可通过数据访问控制、数据脱敏等安全防护措施保障数据全链路、全生命周期安全能力。例如:数据入湖阶段,支持对敏感字段进行脱敏设置,支持对数据源连接进行管控,控制对数据源的访问权限;分析师查询数据时,支持通过动态脱敏策略或字段访问权限来保护敏感数据。
-
如何使用表达式方式获取当前时间? - 数据治理中心 DataArts Studio
如何使用表达式方式获取当前时间? 您可以在字段映射界面使用DateUtils.format(${timestamp()},"yyyy-MM-dd HH:mm:ss")表达式获取当前时间,更多表达式设置方式可以参考表达式转换。 父主题: 数据集成
-
执行DWS SQL脚本时,提示id不存在,如何处理? - 数据治理中心 DataArts Studio
SQL脚本时,提示id不存在,如何处理? 在执行DWS SQL脚本时,提示id不存在,原因是由于id的大小写引起的。 DWS执行SQL时,系统默认是小写,如果是大写字段需要加""。 举例:select * from table1 order by "ID"; select * from table order
-
配置Oracle源端参数 - 数据治理中心 DataArts Studio
“按表分区抽取”选择“否”时,显示该参数,表示抽取数据时使用该字段进行数据切分,CDM依据此字段将作业分割为多个任务并发执行。一般使用数据均匀分布的字段,例如以自然增长的序号字段作为分区字段。 单击输入框后面的按钮可进入字段选择界面,用户也可以直接输入抽取分区字段名。 说明: 抽取分区字段支持TINYINT、SMA
-
管控敏感数据 - 数据治理中心 DataArts Studio
Administrator、Tenant Administrator用户或者数据安全管理员可以创建、修改或删除密级权限管控策略,其他普通用户无权限操作。 密级权限管控仅支持对数据地图中已标记密级的字段在数据预览时进行权限管控,不支持对已标记密级的表进行权限管控。 用户/用户组和密级共同唯一
-
定义识别规则 - 数据治理中心 DataArts Studio
Administrator或者数据安全管理员可以创建、修改或删除数据密级、分类和识别规则,其他普通用户无权限操作。 敏感数据识别过程中,如果规则为内容识别类型(即内置规则和内容识别类型的自定义规则),则仅当数据表中某字段匹配规则的记录数/总记录数>=指定阈值(默认80%)时,才认为该字段为敏感字段,并为之匹配相应密级和分类。
-
常见错误码参考 - 数据治理中心 DataArts Studio
必须指定Elasticsearch文档字段列表。 当前未指定Elasticsearch文档字段列表,请指定后再重试。 Cdm.1513 字段列表中必须包含字段类型定义。 请确认字段列表中是否包含字段类型定义,修改正确后再重试。 Cdm.1514 字段列表中必须包含主键字段。 当前未设置主键字段,请设置主键字段后再重试。
-
码表管理接口 - 数据治理中心 DataArts Studio
码表管理接口 查询码表列表 创建码表 删除码表 修改码表 查看码表详情 查看码表字段值 编辑码表字段值 父主题: 数据架构API
-
管理配置中心 - 数据治理中心 DataArts Studio
型。 编辑类型 在字段类型列表中,找到需要编辑的字段类型,然后单击按钮进行编辑,参数说明请参见表1。 删除类型 仅支持对于用户新建的数据类型进行删除操作。“创建人”为SYSTEM的类型为系统默认的字段类型,不支持删除操作。 在字段类型列表中,找到需要删除的字段类型,单击按钮,然后在弹出对话框中单击“确定”完成删除。
-
配置Hive连接 - 数据治理中心 DataArts Studio
FusionInsight Hive Apache Hive 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 MRS Hive 用户具有MRS Hive连接的表的访问权限时,才能在字段映射时看到表。 MRS Hive连接适用于华为云上的MapReduce服务。MRS
-
数据集成API错误码 - 数据治理中心 DataArts Studio
Cdm.1513 400 字段列表中必须包含字段类型定义。 字段列表中未包含字段类型定义。 请确认字段列表中是否包含字段类型定义,修改正确后再重试。 Cdm.1514 400 字段列表中必须包含主键字段。 未设置主键字段。 当前未设置主键字段,请设置主键字段后再重试。 Cdm.1516
-
获取schemas - 数据治理中心 DataArts Studio
获取schemas,目前只有DWS和采用postgresql驱动的RDS数据源支持schema,请在调用前确认该数据源是否支持schema字段 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/{connection_id}/schemas 表1
-
配置HBase连接 - 数据治理中心 DataArts Studio
目前CDM支持连接的HBase数据源有以下几种: MRS HBase FusionInsight HBase Apache HBase 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 MRS HBase 连接MRS上的HBase数据源时,相关参数如表1所示。
-
步骤2:数据集成 - 数据治理中心 DataArts Studio
单击“下一步”后,请参考以下说明配置字段映射,如图9所示,配置完成后,单击“下一步”。 字段映射:在本示例中,由于数据迁移的目标表字段顺序和原始数据的字段顺序是一样的,因此这里不需要调整字段映射的顺序。 如果目标表字段顺序和原始数据不一致,请一一将源字段指向含义相同的目的字段。请将鼠标移至某一个字段的箭头起
-
配置方式生成API - 数据治理中心 DataArts Studio
请求参数主要分为三部分,绑定参数、绑定字段、操作符。在请求参数列表中,需要设置绑定参数和操作符。 绑定参数对外开放,选择为基本配置中定义的入参,是用户访问API时直接使用的参数。 绑定字段对外不可见,是所选的数据表中的字段,为API调用时实际访问的内容。 操作符则是用户访问API时,对绑定字段和绑定参数的