检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在DLI所绑定的LakeFormation已创建元数据catalog。 数据库名称 是 选择SQL脚本时: 默认选择SQL脚本中设置的数据库,支持修改。 选择SQL语句时: DLI数据目录如果选择DLI默认的数据目录dli,表示为DLI的数据库和数据表。 DLI数据目录如果选择DLI所绑定的Lak
定义规则),则仅当数据表中某字段匹配规则的记录数/总记录数>=指定阈值(默认80%)时,才认为该字段为敏感字段,并为之匹配相应密级和分类。 敏感数据识别过程中,当某个字段同时匹配到识别规则组中的多个识别规则时,此字段密级取多个识别规则的最高密级,字段分类允许有多个。 敏感数据识别
数据源。 已修改DWS集群“feature_support_options”参数的CN参数值和DN参数值均为“enable_data_redaction”,用于启用DWS动态脱敏能力,修改操作详见修改数据库参数。 数据连接中的账户要具备待控制表的GRANT权限(数据库对象创建后,
添加唯一约束 AlterDatabaseEvent 修改数据库 AddPartitionEvent 添加分区 AlterPartitionEvent 修改分区 AlterTableEvent 修改表 AlterCatalogEvent 修改目录 CreateCatalogEvent创建目录
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
error-details String 错误详情,当“status”为“FAILED”时才有此字段。 error-summary String 错误总结,当“status”为“FAILED”时才有此字段。 表6 counters 参数 参数类型 描述 org.apache.sqoop
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
type=xxxxxx”的长字符串并单击,在右侧区域中选择“Preview”,依次展开字段,查找“guest_agent_version”字段,其值即为DWS集群的guest agent版本。 图2 查找“guest_agent_version”字段 如果非所需版本,请联系DWS服务客服或技术支持人员。 配置Ranger组件
提取字符串中的数字,拼接后返回。 String getDigits(String str) 举例:str为"1123~45",则返回"112345";str为"abc",则返回"";str为"12345",则返回"12345"。 父主题: EL表达式参考
关系建模和维度建模的区别? 数据架构支持哪些数据建模方法? 规范化的数据如何使用? 数据架构支持逆向数据库吗? 数据架构中的指标与数据质量的指标的区别? 为什么关系建模或维度建模修改字段后,数据库中表无变化? 表是否可配置生命周期管理?
数据源元数据获取 获取数据库列表 获取schemas 获取数据源中的表 获取数据源中表的字段 父主题: 管理中心API
则有可能因为特征不够导致提取失败。常见的适合嵌入水印的列如地址、姓名、UUID、金额、总数等。 数值整型字段嵌入水印可能会出现数据被修改的情况,请选择可以接受值发生改变的字段插入水印。 结构化数据文件的水印提取与数据水印的水印溯源任务无关。仅支持同一账号下用户对已通过水印注入或管
type String 规则类型,Field表示字段级规则,Table表示表级规则,Database表示库级规则,Cross-field表示跨字段级规则,Customize表示自定义规则。 system_template Boolean 是否为系统模板。 sql_info String
图1 选择数据连接 以评分满分为5分为例。其中4-5分评价为优秀,3-4分为良好,2-3分为不及格,1-2分为较差,0-1分为极差。 当天质量评分数据在次日凌晨生成。 质量评分历史趋势中的实线为截至日期前7天质量评分组成的连线,虚线为这7天质量评分的平均分。 若一天多次运行该作业,当天的质量评分为最后一次的得分。
String 内容表达式;只有当rule_type为CUSTOM且method为REGULAR时才必需要此参数。 column_expression 否 String 列表达式;只有当rule_type为CUSTOM且method为REGULAR时才必需要此参数。 commit_expression
Redis键前缀 键的前缀,类似关系型数据库的表名。 TABLE 值存储类型 仅支持以下数据格式: STRING:不带列名,如“值1,值2”形式。 HASH:带列名,如“列名1=值1,列名2=值2”的形式。 STRING 是否以列值作为field 当值存储类型为HASH时显示此参数。仅支持
Hive:最大长度为1024个字符。 MRS Spark:最大长度为1024个字符。 单击“确定”,新建数据库。 相关操作 修改数据库:在脚本开发导航栏,选择,展开下方的数据连接,右键单击数据库名称,选择“修改”后,在弹出的页面中修改数据库的信息。 删除数据库:在脚本开发导航栏,
当“作业调度身份是否可配置”设置为“是”,该参数可见。 配置委托后,作业执行过程中,以委托的身份与其他服务交互。 作业优先级 自动匹配创建作业时配置的作业优先级,此处支持修改。 实例超时时间 配置作业实例的超时时间,设置为0或不配置时,该配置项不生效。如果您为作业设置了异常通知,当作业
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
Hudi源端参数 作业中源连接为MRS Hudi连接时,源端作业参数如表1所示。 表1 MRS Hudi作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 选择已配置的MRS Hudi连接。 hudi_from_cdm 数据库名称 输入或选择数据库名称。单击输入框后面的按钮可进入数据库选择界面。