检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据安全运营 审计数据访问日志 诊断数据安全风险 查看表权限的拥有者(表权限视图) 查看用户的权限(成员权限视图) 父主题: 数据安全
Studio是否支持私有化部署到本地或私有云? 如何在IAM中创建细粒度权限策略? 如何实现用户的工作空间隔离,使其无法查看其他未授权工作空间? 用户已添加权限,还是无法查看工作空间? IAM用户操作时报错“无xx权限”怎么办? DataArts Studio的工作空间可以删除吗? 可以免费试用DataArts
数据开发模块的数据连接,是基于管理中心的数据连接完成的,创建方法请参考配置DataArts Studio数据连接参数。 查看连接引用 当用户需要查看某个连接被引用的情况时,可以参考如下操作查看引用。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
并发布对应的维度表。 查看维度表发布历史 在数据架构控制台,选择“模型设计 > 维度建模”,进入维度建模页面。 单击“维度表”页签,进入维度表页面。 在列表中,找到所需要的维度表,在右侧单击“发布历史”,将显示“发布历史”页面。 在“发布历史”中,您可以查看维度表的发布历史、版本对比信息以及发布日志。
在打通资源组与数据源之间网络时,需要在数据源所属安全组放通资源组的网段访问对应端口,那么具体需要放通哪些端口? 解决方案 对于不同的数据源其使用的端口也不尽相同,具体可通过查看各数据源官方文档确定具体端口。 下表提供部分数据源端口情况,仅供参考。 表1 数据源使用端口概览 数据源 涉及端口 MySQL 3306 DWS
OBS上存储脏数据的目录,只有在配置了脏数据目录的情况下才会记录脏数据。 用户可以进入脏数据目录,查看作业执行过程中处理失败的数据或者被清洗过滤掉的数据,针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。 /user/dirtydir 单个分片的最大错误记录数 当“是否写入脏数据”为“是”才显示该参数。
数据集成(CDM作业) 数据集成概述 约束与限制 支持的数据源 创建并管理CDM集群 在CDM集群中创建连接 在CDM集群中创建作业 时间宏变量使用解析 优化迁移性能 关键操作指导 使用教程 常见错误码参考
单击“测试运行”,执行该脚本作业。 待测试完成,执行“提交”。 在“作业监控”界面,查看作业执行结果。 图4 查看作业执行结果 作业日志中显示已运行成功 图5 作业运行日志 图6 作业运行状态 查看OBS桶中返回的记录。(没设置返回可跳过) 图7 查看OBS桶返回记录 案例二:通过MRS Spark Python作业实现打印输出"hello
事实表接口 查找事实表 删除事实表 查看事实表详情 查看逆向事实表任务 父主题: 数据架构API
等待审核人员审核。 审核通过后,衍生指标创建完成。 衍生指标创建完成后,单击指标名称,可以查看该衍生指标的详情、关系图、发布历史和审核历史。 通过关系图,可以查看该衍生指标的血缘图。 通过发布历史,可以查看该衍生指标的发布历史和不同发布版本之间的差异对比。 管理衍生指标 进入数据架构的“技术指标
数据质量监控 数据质量监控简介 新建数据质量规则 新建数据质量作业 新建数据对账作业 查看作业实例 查看数据质量报告 父主题: 数据质量
f:3 } } } 将拆成三个字段 [a.b.c], [a.b.d.e], [a.b.d.f]。 否 是 过滤条件 对源数据进行过滤,使用ES查询的参数q语法。 否 last_name:Smith 抽取元字段 是否抽取索引的元字段,目前只支持(_index、_type、_id、_score)。
进入成员管理 单击操作栏中的“编辑”,在弹窗中可以为成员添加或删除所在的角色/权限集,管理其权限。 图2 编辑角色/权限集 单击操作栏中的“查看权限”,可以查看当前成员的基本信息,以及拥有的权限以及权限来源。 父主题: 数据权限访问控制
前往监控 您可以通过作业目录树,快速跳转到该作业的监控界面,查看该作业的监控详细信息。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
数据迁移进阶实践 增量迁移原理介绍 时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导
度过慢请优先排查目的端写入速度,在排除目的端因素后再排查上游。 目的端写入慢 检查目的端负载是否已达到目的端数据源上限。优先查看目的端数据源的监控指标,查看CPU、内存、IO等参数是否处于高负载状态。 在排除目的端负载的情况下,加大作业并发,以提高写入速度。 如果第2步也无法有效
源端数据库中的库名、表名、字段名不能包含:.<'>/\"以及非ASCII字符,建议尽量使用常规字符避免任务失败。 使用限制 通用: 实时同步过程中,不支持IP、端口、账号、密码修改。 不允许源数据库进行恢复操作。 建议MySQL Binlog保留3天以上,不支持强制清理Binlog。 异常/暂停
主题管理接口 查找主题列表 删除主题 创建主题 修改主题 获取主题树信息 查找主题列表(新) 删除主题(新) 创建主题(新) 修改主题(新) 父主题: 数据架构API
great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted
进入数据架构的“配置中心 > 审核人管理”页面,可以对审核人进行管理。 图2 审核人管理 查找审核人 在审核人列表的右上方,输入所要查找的审核人名称,然后单击按钮,即可查找指定的审核人。 删除审核人 在审核人列表中,查找所要删除的审核人,然后选中该审核人,再单击“删除”按钮,即可删除指定的审核人。