检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击表名称进入后,选择“关系图”页签,查看模型视图。 图1 模型视图 在模型视图中支持以下功能: 双击表名,可显示表的详情信息。 单击左上角的“导出图片”按钮,可以将模型视图导出成图片。 在右上角的搜索框中输入表名,可以快速找到的所要查看的表。 功能依次为放大、缩小、全屏、物理模型/逻辑模型切换、刷新、显示画布。
py 在作业算子MRS Spark Python中引用Python脚本: 在运行程序参数中配置参数--py-files和参数值hdfs:///tmp/pyspark/hello.py。 图2 算子MRS Spark Python中引用Python脚本 该示例是将脚本上传到HDFS路径,上传到OBS路径也适用。
的“请选择”按钮,选择日志和DLI脏数据存储路径,可选择某个具体的目录。 图2 修改日志和DLI脏数据存储路径 修改完成后,单击“确定”,即完成作业日志和DLI脏数据存储路径的修改。 父主题: 创建并配置简单模式工作空间
测试通过后,单击“确定”,创建数据连接。 开发Python脚本 在“数据开发 > 脚本开发”模块中创建一个Python脚本,脚本名称为“python_test”。 图2 创建Python脚本 选择Python版本(以Python3为例),并选择主机连接,根据实际需要输入参数。 配置的参数是指执行Python脚本时,向
ngji/python/ 创建一个数据开发模块空作业,作业名称为“job_MRS_Spark_Python”。 图2 新建作业 进入到作业开发页面,拖动“MRS Spark Python”节点到画布中并单击,配置节点的属性。 图3 配置MRS Spark Python节点属性 参数设置说明:
敏感数据识别过程中,如果规则为内容识别类型(即内置规则和内容识别类型的自定义规则),则仅当数据表中某字段匹配规则的记录数/总记录数>=指定阈值(默认80%)时,才认为该字段为敏感字段,并为之匹配相应密级和分类。 敏感数据识别过程中,当某个字段同时匹配到识别规则组中的多个识别规则时,
用户自定义策略名称,只能包含英文字母、数字、“_”,且长度不能超过64个字符。 描述 为更好地识别脱敏策略,此处加以描述信息,长度不能超过255个字符。 *状态 开启状态表示该策略可供使用。关闭状态表示该策略不能被使用。 *识别规则和脱敏算法 选择敏感数据的识别规则,以及对应的脱敏算法。 *识别规则:选
于有效状态的识别规则进行脱敏。 忽略:确认该条识别结果为无效状态,“有效”状态的规则可以进行忽略操作。静态脱敏任务无法选择到未确认/无效状态的识别规则进行脱敏。 数据同步:如果在敏感数据发现任务中勾选了“手动同步数据识别结果”,则还需要手动单击“数据同步”,才能将识别到的敏感数据
式),默认取值为“application/json”。 如果请求消息体中含有中文字符,则还需要通过charset=utf8指定中文字符集。 解决方案 修改参数 Content-Type的参数类型 修改参数Content-Type的参数类型后可以执行成功。 父主题: 数据开发
修改资源 功能介绍 此接口可以修改指定资源,修改时,请指定资源ID。 资源类型和资源目录不支持修改。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 PUT /v1/{project_id}/resources/{resource_id}
修改集群 功能介绍 修改CDM集群配置。 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/cluster/modify/{cluster_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目
定义数据密级 为了方便对数据进行管理,在对数据进行操作前,需要您为数据定义密级,并对保密等级做相应的描述,例如明确涉密的范围。本章主要介绍如何定义数据密级并配置默认密级。 值得注意的是,数据密级、数据分类和识别规则,均为DataArts Studio实例级别配置,各工作空间之间数据互通
修改脚本内容 功能介绍 本接口用以修改脚本的配置项或者脚本内容。 修改脚本时,需要指定待修改的脚本名称。 脚本名称和脚本类型不支持修改。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 PUT /v1/{project_id}/scripts/{script_name}
接提交SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200,超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 在调度Shell、Python脚本时,Agent会访问ECS主机,如果Shell、Python脚本的调度频率很高,ECS主机会将
创建或修改资产(邀测) 功能介绍 创建或修改资产,该接口功能处于邀测阶段,后续将随功能公测将逐步开放。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/datamap/entities 表1 路径参数 参数 是否必选 参数类型 描述 project_id
修改目录 功能介绍 修改目录(数据标准、码表)。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/design/directorys 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
创建数据水印溯源任务 表1 水印溯源任务参数描述 参数名 参数描述 任务名称 嵌入水印任务的名称,只能包含英文字母、数字、中文字符、下划线或中划线,且长度为1~64个字符。 描述 为更好地识别嵌入水印任务,此处加以描述信息。长度不能超过1024个字符。 源文件 得到泄露的数据文件后,利用其
修改主题 功能介绍 修改主题。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/design/subjects 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
修改连接 功能介绍 修改连接接口。 调用方法 请参见如何调用API。 URI PUT /v1.1/{project_id}/clusters/{cluster_id}/cdm/link/{link_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
DataArts Studio支持自定义的Python脚本吗? 问题描述 DataArts Studio自定义的Python脚本是否支持。 解决方案 支持。 父主题: 数据开发