检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
地数据治理方法论。 根据业务需求设计关系模型、维度模型,在数据架构模块中,逐步建立模型中的对象,例如维度、事实表、指标、汇总表等。 添加审核人 添加审核人 管理配置中心 管理配置中心 流程设计 流程设计 主题设计 主题设计 码表管理 新建码表 制定数据标准 新建数据标准 关系建模
在数据指标控制台,单击左侧导航树中的“流程设计”,进入流程设计页面。 单击流程列表上方的“导入”按钮导入流程。 在“导入流程”对话框中,根据页面提示配置如下参数,然后先单击“添加文件”后,再单击“上传文件”。 图5 导入流程 表2 导入配置参数说明 参数名 说明 更新已有数据 如果所要导入的流程,在DataArts
新建规则参数配置请参考表1,参数配置完成单击“确定”即可。 图2 规则配置 表1 配置识别规则参数说明 配置 说明 *规则类型 即规则所属分类,支持按模板添加内置规则和自定义规则。 *数据密级 对配置的数据进行等级划分。如果现有的分级不满足需求,请进入数据密级页面进行设置,详情请参见定义数据密级。
信息记录。 从当前节点测试运行 仅在批作业下显示该选项。选择“从当前节点测试运行”,则测试运行当前节点以及后续节点。 添加/删除连线 可以选择为两个不同的节点添加或删除连线, 编辑CDM作业 仅CDM Job节点显示该选项。选择CDM集群和作业后,可以跳转到CDM作业编辑页面,进行作业修改。
导入作业时,如果作业中存在“锁定”状态的标签,则作业导入会失败。 当作业导入失败需要自动生成标签时,如果标签已存在且被锁定,则导入失败的作业不会添加上该标签。 在导入作业过程中,若作业关联的数据连接、dis通道、dli队列、GES图等在数据开发模块系统中不存在时,系统会提示您重新选择。
个人生物识别信息(指纹、面部特征) 个人身份信息(身份证、社保卡、驾驶证) 其他信息(宗教信仰、精准定位) 敏感数据的保护方式 敏感数据识别与添加标签 从海量数据中将数据进行分类分级,方便进行不同粒度和级别的安全管理。 数据泄露检测与防护 如果出现频繁访问敏感数据的异常行为,可以及时进行风险告警。
参数为--conf时,参数值可配置为spark.dynamicAllocation.maxExecutors。 单击“新建”进入参数模板配置界面。 输入“模板名称”。 单击“添加参数”。配置参数值和参数名称,参数值可以设置默认值、最大值、最小值。可以对配置的参数进行修改和删除。 如果该模板参数允许作业参数覆盖,则勾
指定每次批量提交的行数,根据数据目的端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 连接属性 自定义连接属性。可选参数,单击“添加”可增加多个指定数据源的JDBC连接器的属性,参考对应数据库的JDBC连接器说明文档进行配置。 常见配置举例如下: socketTimeo
274d。 图3 复制节点编码 拖拽“输出处理”算子到画布,挂载到普通API下。单击画布上的输出处理算子打开配置面板,配置输出处理算子: 添加结果集映射。节点映射表达式取普通API的结果,如“${NormalApi_5274d|payload}”,结果集名称按照实际取值,此处以销售记录Sales
查看用户所属的用户组。 图2 用户所属的用户组 在左侧导航窗格中,选择“用户组”,单击用户所属的用户组后面“操作”列的“授权”。 在授权界面,选择需要给用户组添加的权限,搜索需要的权限名称,请配置为OBS OperateAccess或OBS Administrator。 图3 给用户组授权 单击“下
指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 连接属性 可选参数,单击“添加”可增加多个指定数据源的JDBC连接器的属性,参考对应数据库的JDBC连接器说明文档进行配置。 常见配置举例如下: connectTime
在页面下方,单击“保存”按钮。 单击“发布”,在弹出框中,选择审核人,单击“确认提交”,提交审核。等待审核人员审核,审核通过后,复合指标创建完成。 如果当前用户已被添加为审核人,则可以勾选“自助审批”,单击“确认提交”后,状态显示为“已发布”。 查看复合指标详情,如下图所示: 编辑复合指标 在数据指标控制
基本参数配置完成后,单击“发布”,在弹出框中,选择审核人,单击“确认提交”,提交审核。等待审核人员审核,审核通过后,原子指标创建完成。 如果当前用户已被添加为审核人,则可以勾选“自助审批”,单击“确认提交”后,状态显示为“已发布”。 原子指标创建完成后可以查看原子指标详情。 (可选)参考步骤3
则需要将调用地址中的{path}变量修改为Path参数具体取值,Query参数取值可以通过“?Query参数名=Query参数值”的形式添加到调用地址的最后,如本例中为“?query=1”。 https://xx.xx.xx.xx/getContestantInfo/2?query=1
S汇聚表的所有分库。 源表过滤条件:支持填入正则表达式,在过滤出的源端分库中再次过滤出要写入目标端DWS汇聚表的所有分表。 图5 添加逻辑表 已添加的逻辑表支持预览表结构及来源库表,单击“操作”列的预览即可。预览逻辑表时,源表数量越多,等待时间可能越长,请耐心等待。 图6 逻辑表预览
汇聚表的所有分库。 源表过滤条件:支持填入正则表达式,在过滤出的源端分库中再次过滤出要写入目标端Hudi汇聚表的所有分表。 图6 添加逻辑表 已添加的逻辑表支持预览表结构及来源库表,单击“操作”列的预览即可。预览逻辑表时,源表数量越多,等待时间可能越长,请耐心等待。 图7 逻辑表预览
构、数据服务、数据安全、数据开发和数据集成等组件的操作权限。 成员和角色 成员是被授予工作空间访问或使用权限的华为账号。在添加工作空间成员时,您需要同时为添加的成员设置相应的角色。 角色是一组操作权限的集合。不同的角色拥有不同的操作权限,把角色授予成员后,成员即具有了角色的所有权
1000 单次提交行数 可选参数,单击“显示高级属性”后显示。 指定单次批量提交的行数。 10000 连接属性 自定义连接属性,可选参数,单击“添加”可增加多个属性。 常见配置举例如下: oracle.net.CONNECT_TIMEOUT:连接超时时间, 默认60000,单位为毫秒。
指定每次请求获取的行数,根据数据源和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 连接属性 可选参数,单击“添加”可增加多个指定数据源的JDBC连接器的属性,参考对应数据库的JDBC连接器说明文档进行配置。 sslmode=require 引用符号
密码策略”,单击“新增密码策略”,添加一个永不过期的密码策略。 “密码策略名”可配置为“neverexp”。 “密码有效期(天)”配置为“0”,表示永不过期。 “密码失效提前提醒天数”配置为“0”。 其他参数保持默认即可。 在Manager页面选择“系统 > 权限 > 用户”,单击“添加用户”,添加一个专有