检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击表名称进入后,选择“关系图”页签,查看模型视图。 图1 模型视图 在模型视图中支持以下功能: 双击表名,可显示表的详情信息。 单击左上角的“导出图片”按钮,可以将模型视图导出成图片。 在右上角的搜索框中输入表名,可以快速找到的所要查看的表。 功能依次为放大、缩小、全屏、物理模型/逻辑模型切换、刷新、显示画布。
ngji/python/ 创建一个数据开发模块空作业,作业名称为“job_MRS_Spark_Python”。 图2 新建作业 进入到作业开发页面,拖动“MRS Spark Python”节点到画布中并单击,配置节点的属性。 图3 配置MRS Spark Python节点属性 参数设置说明:
敏感数据识别过程中,如果规则为内容识别类型(即内置规则和内容识别类型的自定义规则),则仅当数据表中某字段匹配规则的记录数/总记录数>=指定阈值(默认80%)时,才认为该字段为敏感字段,并为之匹配相应密级和分类。 敏感数据识别过程中,当某个字段同时匹配到识别规则组中的多个识别规则时,
测试通过后,单击“确定”,创建数据连接。 开发Python脚本 在“数据开发 > 脚本开发”模块中创建一个Python脚本,脚本名称为“python_test”。 图2 创建Python脚本 选择Python版本(以Python3为例),并选择主机连接,根据实际需要输入参数。 配置的参数是指执行Python脚本时,向
查看敏感数据发现结果:敏感数据识别任务完成后,需要查看任务的运行结果。 手工修正:发现敏感数据后,您必须根据具体情况进行手工修正,通过对任务中的识别规则进行“确认”,使规则状态变更为“有效”,才能使该识别规则在静态脱敏任务中生效。 如果在敏感数据发现任务中勾选了“手动同步数据识别结果”,则还需要
使用python调用执行脚本的api报错:The request parameter invalid,如何处理? 问题描述 使用python调用执行脚本的api报错:The request parameter invalid。 调用执行脚本接口。 查看日志: 报错:Content
用户自定义策略名称,只能包含英文字母、数字、“_”,且长度不能超过64个字符。 描述 为更好地识别脱敏策略,此处加以描述信息,长度不能超过255个字符。 *状态 开启状态表示该策略可供使用。关闭状态表示该策略不能被使用。 *识别规则和脱敏算法 选择敏感数据的识别规则,以及对应的脱敏算法。 *识别规则:选
DataArts Studio支持自定义的Python脚本吗? 问题描述 DataArts Studio自定义的Python脚本是否支持。 解决方案 支持。 父主题: 数据开发
数据安全敏感数据发现中基于入湖检测规则的推荐识别,详见基于入湖检测规则识别敏感信息。 在新版本模式下仅当使用企业版时,才支持配置数据入湖检测规则。旧版本模式使用基础版及更高版本时即可支持。 前提条件 识别规则创建完成,请参考定义识别规则(部分高级特性)。 约束与限制 数据集成(
接提交SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200,超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 在调度Shell、Python脚本时,Agent会访问ECS主机,如果Shell、Python脚本的调度频率很高,ECS主机会将
执行Python脚本报错:Agent need to be updated? 问题原因 创建的主机连接的CDM集群版本可能有点低。 解决方案 创建的主机连接需要使用2.8.6版本及以上的CDM集群。 父主题: 数据开发
Shell/Python节点执行失败,后台报错session is down 本指导以Shell算子为例。 问题现象 Shell节点运行失败了,实际上Shell脚本运行成功了。 原因分析 获取Shell节点的运行日志。 [2021/11/17 02:00:36 GMT+0800]
创建数据水印溯源任务 表1 水印溯源任务参数描述 参数名 参数描述 任务名称 嵌入水印任务的名称,只能包含英文字母、数字、中文字符、下划线或中划线,且长度为1~64个字符。 描述 为更好地识别嵌入水印任务,此处加以描述信息。长度不能超过1024个字符。 源文件 得到泄露的数据文件后,利用其
报错信息 原因分析 DataArts Studio默认用的python2的解释器,python2默认的编码格式是ASCII编码,因ASCII编码不能编码汉字所以报错。因此需要将编码格式转化为“utf8”。 解决方法 用python3解释器,在主机上做一个软连接,如下图所示。 图2 主机上做软连接
执行如下命令,查询用户的principal。 klist -kt 客户端安装目录/impala/user.keytab 图5 查看principal Python3代码样例参考 Python2和python3导入包的版本(krbcontext)有差异。 ## *****************************
SQL、Hive SQL、DWS SQL、Shell、Presto SQL、ClickHouse SQL、HetuEngine SQL、Python、Spark Python和Impala SQL。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST
添加所需表字段 表2 表字段参数 参数名称 说明 名称 只允许除\、<、>、%、"、'、;及换行符以外的字符。 英文名称 只能包含英文字母、数字、下划线,且以英文字母开头。 数据类型 设置字段的数据类型。如果在下拉列表中未找到所需要的数据类型,您可以参考字段类型添加数据类型。 关联逻辑属性
SQL脚本中的参数如果涉及变量,变量的格式应该与脚本变量定义中设置的格式保持一致,如果不一致,变量将不会被识别。 脚本示例如下,其中str1是参数名称,只支持英文字母、数字、“-”、“_”、“<”和“>”,最大长度为16字符,且参数名称不允许重名。 select ${str1}
删除数据密级、分类和识别规则,其他普通用户无权限操作。 当前支持在不同的父节点下创建同名的分类,但同一父节点下不能创建同名的分类。 导入预置数据分类时,需要先为所有的预置规则配置数据密级,才能导入预置数据分类。 导入预置数据分类时,会直接导入分类和对应的识别规则,与当前分类和规则同名的部分无法导入。
分类类型选择“自定义”,呈现此参数,支持正则表达式。 正则表达式 内容识别:提供的数据识别方式之一,自定义正则表达式。 列名识别:提供字段名精确匹配和模糊匹配方式,支持多个字段匹配。 描述 对当前规则进行简单描述。 新建分组 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作