检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
技术资产数量增量包用于扩充技术资产数量配额。 不同版本的DataArts Studio实例,默认提供了不同的技术资产数量规格限制。该规格是以数据目录中表和OBS文件的数量之和计算的。您可以在新版本模式的DataArts Studio实例卡片上通过“更多 > 配额使用量”查看该配额情况。 当您的技术资产数量接近或达到
据量较大时,获取数据总条数比较耗时。 图1 返回总条数 解决方案 在分页查询时,您可以通过参数(参数名use_total_num)控制是否计算并返回数据总条数。 例如,第一次查询时添加入参use_total_num=1获取数据总条数,后续再次请求接口时添加入参use_total_num=0不获取数据总条数。
Studio实例,默认提供了不同的作业节点调度次数/天规格限制。该规格是以每天执行的数据开发作业、质量作业、对账作业、业务场景和元数据采集作业的调度次数之和计算的。其中数据开发作业的每天调度次数,是以节点(包含Dummy节点)为粒度进行度量的,另外补数据任务也会计入度量次数,但测试运行、失败重试不
不同版本的DataArts Studio实例,默认提供了不同的数据模型数量规格限制。该规格是以数据架构中逻辑模型、物理模型、维度表、事实表和汇总表的数量之和计算的。您可以在新版本模式的DataArts Studio实例卡片上通过“更多 > 配额使用量”查看该配额情况。 当您的数据模型数量接近或达到
Language,简称EL),根据运行环境动态生成参数值。可以根据Pipeline输入参数、上游节点输出等决定是否执行此节点。数据开发模块EL表达式使用简单的算术和逻辑计算,引用内嵌对象,包括作业对象和一些工具类对象。 作业对象:提供了获取作业中上一个节点的输出消息、作业调度计划时间、作业执行时间等属性和方法。
指标,与指标相关的参数还包括统计维度和时间周期。衍生指标则是由原子指标 + 统计维度 + 时间周期组成。 原子指标用于明确业务的统计口径及计算逻辑。在本示例中,经营面积和销售额。 衍生指标由原子指标、统计维度、时间周期三大要素构成,用于统计目标指标在具体时间、维度、业务条件下的数
时,会自动生成一张汇总表,可在“汇总表-自动汇聚”下查看。 衍生指标=原子指标+统计维度+时间限定+通用限定。 原子指标:明确统计口径,即计算逻辑。 统计维度:用于观察和分析业务数据的视角,支撑对数据进行汇聚、钻取、切片分析,用于SQL中的GROUP BY条件。 时间限定:时间限定是时间条件限制的标准化定义。
同Region不同租户通过企业路由器连通网络 在配置实时同步任务前,您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通,您可以根据数据库所在网络环境,选择合适的网络解决方案来实现网络连通。 本章节主要为您介绍数据库部署在华为云,且与Migration资源
我们用区域和可用区来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公
一站式治理运营平台,包含数据集成、数据架构、数据开发、数据质量、数据目录、数据服务等功能,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据标准,加快数据变现,实现数字化转型。
衍生指标是原子指标通过添加时间周期、维度卷积而成,时间周期和维度均来源于原子指标中的属性。 衍生指标=原子指标+统计维度+时间周期。 原子指标:明确统计口径,即计算逻辑。 统计维度:用于观察和分析业务数据的视角,支撑对数据进行汇聚、钻取、切片分析,用于SQL中的GROUP BY条件。 时间周期:时间周期是时间条件限制的标准化定义。
数据治理中心DataArts Studio是具有数据全生命周期管理、智能数据管理能力的一站式治理运营平台,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据,加快数据变现,实现数字化转型。 DataArts
线。 数据权限模块包含数据目录权限、数据表权限和审批中心三大子模块。具备的功能如下所示: 权限自助申请:用户可以选择自己需要权限的数据表,在线上快速发起申请。 权限审计:管理员可以快速方便地查看数据库表权限对应人员,进行审计管理。 权限回收/交还:管理员可以通过用户权限管理及时回
application/json X-Language = en-us 其他参数保持默认即可。 图5 删除CDM作业节点配置 如果需要在迁移完后进行计算操作,可在后续添加各种计算节点,完成数据计算。 配置DLF作业参数。 配置DLF作业参数,如图6所示。 startTime = $getTaskPlanTime(plantime
使用规范请求和其他信息创建待签字符串。 使用AK/SK和待签字符串计算签名。 将生成的签名信息作为请求消息头添加到HTTP请求中,或者作为查询字符串参数添加到HTTP请求中。 API网关收到请求后,执行1~3,计算签名。 将3中的生成的签名与5中生成的签名进行比较,如果签名匹配,则处理请求,否则将拒绝请求。
Studio数据安全框架 资源主体:即华为云数据湖中的库表字段及计算引擎队列资源。库表字段支持大数据MRS Hive/Spark,云数据仓库DWS,数据湖探索DLI等数据湖,计算引擎队列包含大数据MRS YARN计算队列和数据湖探索计算队列。 全链路数据安全:DataArts Studio
跨Region通过云连接连通网络 在配置实时同步任务前,您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通,您可以根据数据库所在网络环境,选择合适的网络解决方案来实现网络连通。 本章节主要为您介绍数据库部署在华为云,且与Migration资源组不同Reg
如图1所示进行配置。则仅当其依赖的作业B在某段时间内所有实例运行完成、且不存在失败实例时,才开始执行作业A。 依赖的作业B的“某段时间”,计算方法如下,详见后文设置依赖作业后的作业运行原理。 同周期依赖,如分钟依赖分钟、小时依赖小时或天依赖天时,“某段时间”为 (作业A执行时间-作业A周期时间
同Region同租户直接连通网络 在配置实时同步任务前,您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通,您可以根据数据库所在网络环境,选择合适的网络解决方案来实现网络连通。 本章节主要为您介绍数据库部署在华为云,且与Migration资源组同Region同租户场景下的网络打通方案。
同Region不同租户通过对等连接连通网络 在配置实时同步任务前,您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通,您可以根据数据库所在网络环境,选择合适的网络解决方案来实现网络连通。 本章节主要为您介绍数据库部署在华为云,且与Migration资源组