检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安全页面。 单击数据安全左侧导航树中的“数据密级”,进入数据密级页面。 图3 进入数据密级 单击密级列表右上方“默认密级”,在选择框中选择一个密级作为默认密级。 配置默认密级后,MRS Hive和DWS数据源中所有未被标记密级的数据表和字段(包括存量和增量数据)将被标记为默认密级
如果选择使用KMS加密,则无法使用MD5校验一致性。 如果这里使用其它项目的KMS ID,则需要修改“项目ID”参数为KMS ID所属的项目ID;如果KMS ID与CDM在同一个项目下,“项目ID”参数保持默认即可。 使用KMS加密后,OBS上对象的加密状态不可以修改。 使用中的KMS密钥不可以删除,如果删除将导致加密对象不能下载。
数据具备追溯数据所有者与分发对象等信息的能力。在数据处理过程中起到威慑及追责的作用。 数据泄密防护技术通过终端防泄露技术、邮件防泄露技术、网络防泄露技术,防止敏感数据在违反安全策略规定的情况下流出企业。 API安全管理相关工具平台提供内部接口和外部接口的安全管控和监控审计能力,保障数据传输接口安全。
如果选择使用KMS加密,则无法使用MD5校验一致性。 如果这里使用其它项目的KMS ID,则需要修改“项目ID”参数为KMS ID所属的项目ID;如果KMS ID与CDM在同一个项目下,“项目ID”参数保持默认即可。 使用KMS加密后,OBS上对象的加密状态不可以修改。 使用中的KMS密钥不可以删除,如果删除将导致加密对象不能下载。
如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户,然后在创建MRS数据连接时,“用户名”和“密码”填写为新建的MRS用户及其密码。 说明: 如果CDM集群为2.9.0版本及之后版本,且MRS集群为3
栏的“关系建模”进入关系建模页面。 在页面的中间栏位,从最上方的下拉列表中找到所需要的物理模型,或者从“数仓规划”选择一个物理模型单击进入,在主题目录中选中一个对象,然后单击“导入”。 在“导入表”对话框中,单击“下载关系建模导入模板”。 图3 导入表 表5 导入配置参数说明 参数名
h> #include <string.h> #include <curl/curl.h> #include "signer.h" 生成一个新的Signer, 填入AppKey和AppSecret。 1 2 3 4 5 // 认证用的ak和sk编码到代码中或者明文存储都有很大的
taskmanager管理内存占比。 taskmanager.memory.network.max int 128MB 默认不需要配置,分库分表场景下如果实例数和表数过多,建议根据实际情况增加网络内存。 taskmanager.memory.network.fraction int 0.1 默认不需要配置
图1 数据访问审计 您可以通过切换页签,查看不同数据源的审计日志。日志范围默认1小时,支持自定义时段查询,自定义时段时的最大查询时间间隔为一个月。 DWS审计日志:日志列表默认使用最新DWS数据连接。单击查看日志详情,可查看当前日志的全量信息。 DWS审计日志支持导出,单击“导出”后,会下载当前页的json数据。
按如下步骤编排作业,并定期调度。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 创建一个数据开发批处理作业,作业名称可以命名为“import_ges”。 图2 新建作业 在作业开发页面,拖动1个Dummy节点、8个CDM Job节点、和2个Import
认证。而对于梳理出来,但没有落IT系统的业务对象,需在后继的开发中进行数字化落地。 数据开发 数据开发是编排、调度和运维的中心,数据开发是一个提供分析、设计、实施、部署及维护一站式数据解决方案,完成数据加工、转换和质量提升等。数据开发屏蔽了各种数据存储的差异,一站式满足从数据集成
创建资源后,配置资源关联的文件。在作业中可以直接引用资源。当资源文件变更,只需要修改资源引用的位置即可,不需要修改作业配置。关于资源的使用样例请参见开发一个DLI Spark作业。 约束限制 该功能依赖于OBS服务或MRS HDFS服务。 新建目录(可选) 如果已存在可用的目录,可以不用新建目录。
数据集成提供20+简单易用的迁移能力和多种数据源到数据湖的集成能力,全向导式配置和管理,支持单表、整库、增量、周期性数据集成。 数据架构 作为数据治理的一个核心模块,承担数据治理过程中的数据加工并业务化的功能,提供智能数据规划、自定义主题数据模型、统一数据标准、可视化数据建模、标注数据标签等功
数据质量配置数据搬迁 数据质量数据搬迁依赖于数据质量监控的规则模板、质量作业、对账作业导入导出功能。 约束与限制 已完成管理中心数据搬迁。 业务指标监控中的指标、规则、业务场景等数据均不支持导入导出,如有涉及,请您进行手动配置同步。 系统支持将自定义的规则模板批量导出,一次最多可导出200个规则模板。
invalid,如何处理? 在数据开发子模块中,doris SQL作业执行失败,是什么原因? 在数据开发子模块中,新建的DLI SQL脚本默认队列是一个已删除的队列,怎么处理? 数据开发中的事件驱动是否支持线下kafka?
搜索:Elasticsearch,云搜索服务(CSS) 对象存储:对象存储服务(OBS) 分库数据源不支持作为目的端。 分库指的是同时连接多个后端数据源,该连接可作为作业源端,将多个数据源的数据合一迁移到其他数据源上。 NoSQL Redis Hadoop:MRS HDFS,MRS HBase,MRS
关键路径分析 关键任务优先调度 关键任务告警 配置错误立即告警 关键作业全链路版本对比 报警机制 基线报警是对开启状态且打开告警开关的基线提供的一个报警提醒,用户可以基于基线的预计完成时间配置基线的预警余量和承诺时间。系统将根据监控范围内任务历史运行情况推算出的任务预计最晚完成时间,并
空间权限集作为DataArts Studio工作空间内的最大权限集合,主要用于确定整个工作空间用户可访问的权限范围。 配置权限集 权限集将用户与权限直接关联,可以新建多个用于给不同使用场景的用户关联不同的权限,可通过权限同步进行权限管控(实际使用时,更推荐通过权限集关联角色进行权限管控)。 配置通用角色 配
如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。 表3 血缘关系 参数 说明 输入 新建 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]