检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
只能以fact_开头,支持英文字母、数字、下划线。 *数据连接类型 在下拉框中选择对应的数据连接类型。 *数据连接 在下拉框中选择对应的数据连接。维度建模建议使用统一的数据连接。 *数据库 在下拉框中选择对应的数据库。 队列 DLI队列。该参数仅DLI连接类型有效。 Schema DWS或POSTG
超过1MB的建议单线程抽取数据。 作业抽取并发数可参考集群最大抽取并发数配置,但不建议超过集群最大抽取并发数上限。 源端为Hive数据源且使用JDBC方式读取数据时,CDM不支持多并发,此时应配置为单进程抽取数据。 目的端为DLI数据源时,抽取并发数建议配置为1,否则可能会导致写入失败。
段类型、填写字段值。 用户可同时添加多个附加字段。 自动建表:单击“自动建表”为列表中的表按照已配置规则自动建表。成功后表建立方式会显示为使用已有表。 分库分表场景 对于不同库上表可以聚合为一个表,同步时会被统一写入一个目标表中,匹配的分库分表需要保证结构的一致性。 源端配置。 图4
先后顺序。 委托配置 配置委托后,作业执行过程中,以委托的身份与其他服务交互。若该工作空间已配置过委托,参见配置公共委托,则新建的作业默认使用该工作空间级委托。您也可参见配置作业委托,修改为作业级委托。 说明: 作业级委托优先于工作空间级委托。 日志路径 选择作业日志的OBS存储
在CDM“作业管理”界面的“表/文件迁移”页签下,找到已创建的作业,单击作业操作列的“更多 > 查看作业JSON”,如图1所示。 您也可以使用其它已创建好的CDM作业JSON。 图1 查看作业JSON 作业JSON就是创建CDM作业的请求消息体模板,URL地址中[Endpoint
能以数字开头。 *数据连接类型 系统默认为数仓分层中配置为数据连接类型。不可修改。 数据连接 选择所需要的数据连接。同一个关系模型一般建议使用统一的数据连接。 如果您还未创建与数据源之间的数据连接,请前往DataArts Studio管理中心进行创建,详情请参见配置DataArts
源。 Jar包参数 否 Jar包的参数。 运行程序参数 否 为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。 说明: 若集群为MRS 1.8.7版本或MRS 2.0.1之后版本,需要配置此参数。 MRS Spark作业的
类模板生成。 自定义 *规则名称 规则类型选择“自定义”,您可以自行填写分类名称,名称为必填项。建议包含规则含义,避免无意义的描述,以便于使用中能快速选择需要的规则。 说明: 定义数据识别规则,名称必须唯一。 *识别规则 规则类型选择“自定义”,呈现此参数,支持正则表达式。 当选
最小通知间隔可设置为5~60。 通知方式:根据实际需要选择,推荐选择“按主题”通知。 通知管理功能是通过消息通知服务SMN来发送消息,消息通知服务的使用可能会产生费用,具体请咨询消息通知服务。 一个作业支持配置多个消息主题,当作业运行成功或失败,可同时向多个订阅了消息主题的终端发送通知。
FLOAT(M,D) 不能使用无符号的浮点数字。可以定义显示长度(M)和小数位数(D)。这不是必需的,并且默认为10,2。其中2是小数的位数,10是数字(包括小数)的总数。小数精度可以到24个浮点。 52.36 FLOAT FLOAT4 DOUBLE(M,D) 不能使用无符号的双精度浮点
核人,再单击“确认提交”提交审核。审核通过后,返回“码表管理”页面,在列表中可以查看已建好的码表且状态显示为“已发布”,已发布的码表才可被使用。 如果当前用户已被添加为审核人,则可以勾选“自助审批”,单击“确认提交”后,码表状态显示为“已发布”。 选择审核人时,系统支持选择多个审
查看top_active_movie表数据 开发并调度作业 假设OBS中“movie”和“rating”表是每日更新的,我们希望每天更新Top10电影,那么这里可以使用DLF作业编排和作业调度功能。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 创建一
如果您还未创建数据标准,请参见新建数据标准进行创建。 密级 单击按钮可以为逻辑实体属性添加密级。 如果没有您想要的密级,可点击跳转到数据安全界面中创建需要的密级。 如不使用该功能,可在配置中心 > 模型设计中关闭该功能。 代理键 请根据业务需求选择合适的字段作为代理键。系统默认第一个维度属性为代理键。 主键 请根据业务需求选择合适的字段作为主键。
预览SQL”,弹出“预览SQL”对话框。 在“预览SQL”中,您可以查看SQL语句,也可以复制SQL。 下线复合指标 对于已发布的复合指标,如果不在需要使用,可以将其下线。 下线复合指标的前提是无依赖引用,即无汇总表引用。 在数据架构控制台,单击左侧导航树的“技术指标”,然后选择“复合指标”页签,进入复合指标页面。
IAM上的用户信息同步到数据源上,详见同步IAM用户到数据源。 如果希望在DataArts Studio数据开发执行脚本、测试运行作业时,使用当前用户身份认证鉴权以实现行级访问控制策略生效,则需要启用细粒度认证。 为确保行级访问控制策略生效,须确保策略中指定的用户已具备待控制操作
类似于SQL中where后面的条件,不包括时间区间)。 前提条件 在新建衍生指标之前,请先确认原子指标已经新建并通过审核。 如果衍生指标将使用统计维度或时间限定,请先确认维度或时间限定已经新建并通过审核。 约束与限制 单工作空间允许创建的衍生指标个数最多5000个。 新建衍生指标并发布
创建敏感数据发现任务参数配置说明: 表1 配置任务参数 参数名 参数说明 基本信息配置 *任务名称 标识敏感数据发现任务,为便于任务管理,建议名称中包含要识别的数据表和使用的规则组。 任务描述 为更好地识别敏感数据发现任务,此处加以描述信息。 *数据源类型 从下拉列表中选择已创建的数据源类型。 *数据连接 所