-
敏感数据治理流程 - 数据治理中心 DataArts Studio
敏感数据识别流程 在执行识别敏感数据任务之前,您可通过图1了解敏感数据识别流程。 图1 敏感数据识别流程图 定义数据密级 在对数据进行操作前,为数据定义密级,用以明确涉密的范围。 定义数据分类 当数据密级已经无法满足大数据量下的数据分级分类诉求时,您可以进一步为不同价值的数据
-
查询所有集群的企业项目ID - 数据治理中心 DataArts Studio
"value" : 0 } ] } ] } 状态码 状态码 描述 200 请求成功。 400 请求错误。 401 鉴权失败。 403 没有操作权限。 404 找不到资源。 500 服务内部错误,具体返回错误码请参考错误码。 503 服务不可用。 错误码 请参见错误码。 父主题: 集群管理
-
转换逻辑模型为物理模型 - 数据治理中心 DataArts Studio
" ] } 响应示例 状态码: 200 Success,返回data数据是目标物理WorkspaceVO信息,最终的转换结果需要从获取批量操作结果的接口中获取。 { "data" : { "value" : { "id" : "1234524753512017920"
-
修改集群 - 数据治理中心 DataArts Studio
"xxx@xxx.com" } 响应示例 无 状态码 状态码 描述 202 请求成功。 400 请求错误。 401 鉴权失败。 403 没有操作权限。 404 找不到资源。 500 服务内部接口异常。 503 服务不可用。 错误码 请参见错误码。 父主题: 集群管理
-
配置资源权限 - 数据治理中心 DataArts Studio
Hive数据库、数据表、列的权限: Select:查询权限 Update:更新权限 Create:创建权限 Drop:drop操作权限 Alter:alter操作权限 All:所有执行权限 Temporary UDF Admin:临时UDF管理权限 Yarn Yarn队列权限: submit-app:提交队列任务权限
-
解锁脚本 - 数据治理中心 DataArts Studio
Studio更新编辑锁定功能前已经创建的脚本/作业,在更新后默认为解除锁定状态。您需要通过“抢锁”功能获取锁定后,才能继续编辑、保存或提交。 抢锁的操作依赖于软硬锁的处理策略。配置软硬锁的策略请参见配置默认项。 软锁:忽略当前作业或脚本是否被他人锁定,可以进行抢锁或解锁。 硬锁:若作业或脚
-
开发Python脚本 - 数据治理中心 DataArts Studio
的值。 当前用户已锁定该脚本,否则需要通过“抢锁”锁定脚本后才能继续开发脚本。新建或导入脚本后默认被当前用户锁定,详情参见编辑锁定功能。 操作步骤 参考访问DataArts Studio实例控制台登录DataArts Studio管理控制台。 在DataArts Studio控制
-
查询版本规格 - 数据治理中心 DataArts Studio
e1f6" } ] } ] } 状态码 状态码 描述 200 请求成功。 400 请求错误。 401 鉴权失败。 403 没有操作权限。 404 找不到资源。 500 服务内部错误,具体返回错误码请参考错误码。 503 服务不可用。 错误码 请参见错误码。 父主题: 集群管理
-
查看业务场景实例 - 数据治理中心 DataArts Studio
处理问题 对当前业务场景实例进行进一步处理。支持填写处理意见,关闭问题和移交他人。 如果实例的处理人是当前登录用户则可以对业务场景实例进行处理操作,包括填写意见和转交给他人处理。 更多 > 处理日志 可查看历史处理记录。 父主题: 业务指标监控(待下线)
-
解锁作业 - 数据治理中心 DataArts Studio
Studio更新编辑锁定功能前已经创建的脚本/作业,在更新后默认为解除锁定状态。您需要通过“抢锁”功能获取锁定后,才能继续编辑、保存或提交。 抢锁的操作依赖于软硬锁的处理策略。配置软硬锁的策略请参见配置默认项。 软锁:忽略当前作业或脚本是否被他人锁定,可以进行抢锁或解锁。 硬锁:若作业或脚
-
查询支持的版本 - 数据治理中心 DataArts Studio
7d8245e1c2" } ] } ] 状态码 状态码 描述 200 请求成功。 400 请求错误。 401 鉴权失败。 403 没有操作权限。 404 找不到资源。 500 服务内部错误,具体返回错误码请参考错误码。 503 服务不可用。 错误码 请参见错误码。 父主题: 集群管理
-
标签管理 - 数据治理中心 DataArts Studio
约束限制 一个DataArts Studio实例最多支持添加20个标签。 标签的键名不能重复,一个“标签键”只能添加一个对应“标签值”。 操作步骤 参考访问DataArts Studio实例控制台登录DataArts Studio管理控制台。 在旧版首页的“标签管理”或新版首页的
-
新建整库迁移作业 - 数据治理中心 DataArts Studio
新建整库迁移作业 操作场景 CDM支持在同构、异构数据源之间进行整库迁移,迁移原理与新建表/文件迁移作业相同,关系型数据库的每张表、Redis的每个键前缀、Elasticsearch的每个类型、MongoDB的每个集合都会作为一个子任务并发执行。 整库迁移作业每次运行,会根据整库
-
配置HTTP源端参数 - 数据治理中心 DataArts Studio
GZ格式的文件。 无 压缩文件后缀 压缩格式非无时,显示该参数。 该参数需要解压缩的文件后缀名。当一批文件中以该值为后缀时,才会执行解压缩操作,否则保持原样传输。当输入*或为空时,所有文件都会被解压。 * 文件分隔符 传输多个文件时,CDM使用这里配置的文件分隔符来区分各个文件,
-
申请与审批权限 - 数据治理中心 DataArts Studio
进行权限同步时,需要为dlg_agency委托配置相关权限,请参考授权dlg_agency委托。 当前数据权限管控为白名单机制,是在待授权用户原有权限的基础上增加允许操作条件,不会影响用户的原有权限。如果仅需要当前数据权限管控所赋予的权限生效,则需要您手动去除待授权用户的原有权限。详见数据权限管控说明。 默认在DataArts
-
新建MySQL连接 - 数据治理中心 DataArts Studio
资源,建议通过名称后缀进行区分,详细操作请参见配置企业模式环境隔离。 对于DWS、MRS Hive和MRS Spark这三种数据源,如果在创建数据连接时选择同一个集群,则需要配置数据源资源映射的DB数据库映射关系进行开发生产环境隔离,详细操作请参见DB配置。 例如,当您的数据湖服
-
可以免费试用DataArts Studio吗? - 数据治理中心 DataArts Studio
试用初级版注意事项: 云产品体验名额有限,领完即止。 符合“参与对象”的同一用户仅能对同一产品申请一次。 试用产品的升级:用户试用过程中,主动进行升配等操作,将按照官网标准价格收费;如果进行降配或切换计费方式等,将不进行退费。 试用产品的续费:用户需要在试用期满后继续使用DataArts St
-
配置Elasticsearch/云搜索服务源端参数 - 数据治理中心 DataArts Studio
例如:“first_name:Alec AND last_name:John”。 范围匹配时,可以直接使用条件表达式的方式进行过滤,格式为column:>data。其中,操作符支持“>”、“>=”、“<”或“<=”。 例如:“time:>=1636905600000 AND time:<163707840000
-
开发一个Hive SQL作业 - 数据治理中心 DataArts Studio
SQL前,我们需要在“管理中心 > 数据连接”模块中建立一个到MRS Hive的连接,数据连接名称为“hive1009”。创建MRS Hive连接的操作请参见配置MRS Hive数据连接。 关键参数说明: 集群名:已创建的MRS集群。 绑定Agent:已创建的CDM集群。 开发Hive SQL脚本
-
开发Shell脚本 - 数据治理中心 DataArts Studio
的值。 当前用户已锁定该脚本,否则需要通过“抢锁”锁定脚本后才能继续开发脚本。新建或导入脚本后默认被当前用户锁定,详情参见编辑锁定功能。 操作步骤 参考访问DataArts Studio实例控制台登录DataArts Studio管理控制台。 在DataArts Studio控制