-
数据集成 - 数据治理中心 DataArts Studio
获取集群列表为空/没有权限访问/操作时报当前策略不允许执行? Oracle迁移到DWS报错ORA-01555 MongoDB连接迁移失败时如何处理? Hive迁移作业长时间卡顿怎么办? 使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理?
-
MRS中恢复HBase表 - 数据治理中心 DataArts Studio
使用快照迁移并恢复会变的数据 在源端CDH集群HBase shell中执行: flush <table name> 在源端CDH集群HBase shell执行: compact <table name> 如果表没有打开Snap功能,则执行: hadoop dfsadmin -allowSnapshot
-
新建数据库 - 数据治理中心 DataArts Studio
删除数据库时,请确保该数据库未被使用,且没有关联数据表。 新建数据库(可视化模式) 参考访问DataArts Studio实例控制台登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
-
其他编程语言 - 数据治理中心 DataArts Studio
如果没有查询参数,则为空字符串,即规范后的请求为空行。 格式: 规范查询字符串需要满足以下要求: 根据以下规则对每个参数名和值进行URI编码: 请勿对RFC 3986定义的任何非预留字符进行URI编码,这些字符包括:A-Z、a-z、0-9、-、_、.和~。
-
新建表/文件迁移作业 - 数据治理中心 DataArts Studio
在没有主键的场景下,如果没有选择分布列,DWS会默认第一列作为分布列,可能会有数据倾斜风险。 CDM支持字段内容转换,如果需要可单击操作列下,进入转换器列表界面,再单击“新建转换器”。 图4 新建转换器 CDM支持以下转换器: 脱敏:隐藏字符串中的关键数据。
-
数据集成API错误码 - 数据治理中心 DataArts Studio
Cdm.0204 400 没有已创建的MRS连接。 没有已创建的MRS连接。 当前没有MRS连接,您需要先前往集群的“连接管理”页面创建一个MRS连接,然后再重新执行当前的操作。 Cdm.0230 400 不能加载该类:%s。 类加载失败。 请联系客服或技术支持人员协助解决。
-
批量管理作业 - 数据治理中心 DataArts Studio
由于安全原因,CDM导出作业时没有导出连接密码,连接密码全部使用“Add password here”替换。 批量导入作业 单击“导入”,选择JSON格式的文件导入或文本导入。 文件导入:待导入的作业文件必须为JSON格式(大小不超过1M)。
-
目的端为关系数据库 - 数据治理中心 DataArts Studio
CREATE_WHEN_NOT_EXIST:当目的端的数据库没有“tableName”参数中指定的表时,CDM会自动创建该表。 DROP_AND_CREATE:先删除“tableName”参数中指定的表,然后再重新创建该表。
-
Shell/Python节点执行失败,后台报错session is down - 数据治理中心 DataArts Studio
ClientAliveCountMax表示服务器发出请求后客户端没有响应的次数达到一定值,就自动断开,正常情况下,客户端会正常响应。
-
资源迁移 - 数据治理中心 DataArts Studio
由于安全原因,导出连接时没有导出连接密码,需要在导入时自行输入。 仅企业版支持数据目录(分类、标签、采集任务)导出,专家版暂不支持。 导入文件时,OBS和本地方式均限制文件大小不超过10MB。
-
常见错误码参考 - 数据治理中心 DataArts Studio
Cdm.0204 没有已创建的MRS连接。 当前没有MRS连接,您需要先前往集群的“连接管理”页面创建一个MRS连接,然后再重新执行当前的操作。 Cdm.0230 不能加载该类:%s。 请联系客服或技术支持人员协助解决。 Cdm.0231 不能初始化该类:%s。
-
配置ORACLE数据连接 - 数据治理中心 DataArts Studio
如果没有可用的CDM集群,请先通过数据集成增量包进行创建。 CDM集群作为网络代理,必须和Oracle网络互通才可以成功创建Oracle连接。 说明: CDM集群作为管理中心数据连接Agent时,单集群的并发活动线程最大为200。
-
开发实时处理单任务DLI Spark作业 - 数据治理中心 DataArts Studio
说明: 如果作业一直处于启动中状态,没有成功开始运行,超时后作业会被置为失败。 失败重试 否 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。 超时重试 最大重试次数 重试间隔时间(秒) 否:默认值,不重新执行节点。
-
定义数据分类 - 数据治理中心 DataArts Studio
图5 进入数据分类 如果还没有新建的分类,可以单击“导入预置数据分类”,进入导入窗口。已有新建分类时,可通过单击,进入导入窗口。 在弹出的导入预置数据分类窗口中,勾选需要导入的数据分类,为待导入规则逐一配置数据密级或批量设置密级后,单击“确定”完成预置数据分类和规则的导入。
-
配置Hive目的端参数 - 数据治理中心 DataArts Studio
不存在时创建:当目的端的数据库没有“表名”参数中指定的表时,CDM会自动创建该表。如果“表名”参数配置的表已存在,则不创建,数据写入到已存在的表中。 先删除后创建:CDM先删除“表名”参数中指定的表,然后再重新创建该表。 说明: 自动建表只同步列注释,表注释不会被同步。
-
全量导出/导出/导入API - 数据治理中心 DataArts Studio
如果没有集群,则不发布只导入。 是否覆盖 配置导入的重名API是否需要更新,默认不更新。仅专享版支持该参数。 不覆盖:如果已存在同名API,则不导入该API。 当导入API与原有API定义冲突时,覆盖原有API定义:如果存在同名API,则按照导入的API更新API定义。
-
配置DWS数据连接 - 数据治理中心 DataArts Studio
如果没有可用的CDM集群,请先进行创建。 CDM集群作为网络代理,必须和DWS集群网络互通才可以成功创建DWS连接,为确保两者网络互通,CDM集群必须和DWS集群处于相同的区域、可用区、VPC和子网,安全组规则需允许两者网络互通。
-
开发实时处理单任务Flink Jar作业 - 数据治理中心 DataArts Studio
说明: 如果作业一直处于启动中状态,没有成功开始运行,超时后作业会被置为失败。 失败重试 否 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。 超时重试 最大重试次数 重试间隔时间(秒) 否:默认值,不重新执行节点。
-
查询集群实例信息 - 数据治理中心 DataArts Studio
403 没有操作权限。 404 找不到资源。 500 服务内部错误,具体返回错误码请参考错误码。 503 服务不可用。 错误码 请参见错误码。 父主题: 集群管理
-
CDM迁移近一个月的数据 - 数据治理中心 DataArts Studio
URI格式为“hdfs://NameNode IP:端口”,若CDH没有启动Kerberos认证则“认证类型”选择“SIMPLE”。 单击“测试”,如果右上角显示“测试成功”,表示连接成功,单击“保存”。