正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
则该字段必选。 Content-Type 否 String 默认值:application/json;charset=UTF-8 可选,有Body体的情况下必选,没有Body体则无需填写和校验。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 data
HBase连接 介绍 通过HBase连接,可以对MRS、FusionInsight HD、Apache Hadoop的HBase抽取、加载数据。 连接样例 { "links": [ { "link-config-values": { "configs":
步骤2:数据开发处理 本步骤通过BI报表原始数据,分析10大用户关注最多的产品和10大用户评价最差的商品,然后通过作业定期调度执行并将结果每日导出到表中,以支撑信息分析。 分析10大用户关注最多的产品 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。 Content-Type 是 String 消息体的类型(格式),有Body体的情况下必选,没有Body体无需填写。如果请求消息体中含有中文字符,则需要通过charset=utf8指定中文字符集,例如取值为:
为了从根源上解决定义、研发不一致的问题,指标定义明确设计统计逻辑(即计算逻辑),不需要ETL二次或者重复研发,从而提升了研发效率,也保证了统计结果的一致性。 原子指标:原子指标中的度量和属性来源于多维模型中的维度表和事实表,与多维模型所属的业务对象保持一致,与多维模型中的最细数据粒度保持一致。
"lastInstanceEndTime": 1682519407000, "lastInstanceStatus": "success", "lastUpdateUser": "test_user", "name": "myJob"
示例场景说明 本示例是一个DataArts Studio全流程入门教程,旨在介绍如何在DataArts Studio平台完成端到端的全流程数据运营。 本案例基于某市的出租车出行数据,选择MRS Hive作为数据湖底座,使用DataArts Studio实施全流程数据治理。期望通过实施数据治理达到以下目标:
使用Token认证时该字段必选,用户Token的长度要求如下: 最小长度:0 最大长度:4096 Content-Type 否 String 有Body体的情况下必选,无Body体的情况下则无需填写和校验。 示例:Content-Type: application/json;charset=UTF-8
CDM迁移近一个月的数据 备HBase集群中约10TB数据,最近一个月新增的数据量约60TB,总共约70TB。H公司安装的云专线为20GE端口,支持CDM超大规格的集群(cdm.xlarge),综合考虑迁移时间、成本、性能等,这里使用2个CDM超大规格集群并行迁移。CDM集群规格如表1所示。
则该字段必选。 Content-Type 否 String 默认值:application/json;charset=UTF-8 可选,有Body体的情况下必选,没有Body体则无需填写和校验。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 data
API编排典型配置 API编排的典型使用场景如下: 对返回消息进行映射或格式转换:通过API编排的方式能够灵活实现消息映射及格式转换。 数据请求依赖多个数据API:使用API编排后,可以降低调用次数,减少集成成本,提升调用效率。 约束与限制 仅3.0.6及以上版本的数据服务专享版集群支持API编排。
-least-once保证。 scan.incremental.snapshot.chunk.size int 50000 分片大小,决定了全量阶段单个分片最大数据的数据条数以及分片个数。分片大小越大,单个分片数据条数越多,分片个数越小。 当表的条数过多时,作业会划分较多的分片,
数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。 Content-Type 是 String 消息体的类型(格式),有Body体的情况下必选,没有Body体无需填写。如果请求消息体中含有中文字符,则需要通过charset=utf8指定中文字符集,例如取值为:
数据安全总览页面 数据安全总览页面为您提供了配置数据安全管理员功能和数据安全的空间汇总信息,包括查看敏感表总数、敏感表密级分布饼图、敏感字段密级分布饼图、脱敏和水印任务数量趋势图。 配置安全管理员 安全管理员由具有DAYU Administrator系统角色权限的账号指定,在DataArts
单击结果&日志查看运行结果和运行日志,等待作业运行结束后,如下图所示。 结果分析 至此,完成了通过DataArts Studio数据质量模块中的对账作业功能实现了DLI和DWS两种不同数据源中的表行数一致性对账功能。 运行结果中,左侧表示源端表行数规则运行结果,右侧表示目的端表行数规则运行结果。 误差
自动匹配创建作业时配置的作业优先级,此处支持修改。 实例超时时间 配置作业实例的超时时间,设置为0或不配置时,该配置项不生效。如果您为作业设置了异常通知,当作业实例执行时间超过超时时间,将触发异常通知,发送消息给用户。 实例超时是否忽略等待时间 配置实例超时是否忽略等待时间。 如果勾
选择“是”后,迁移对象文件时会复制源文件的Content-Type属性,主要用于静态网站的迁移场景。 归档存储的桶不支持设置Content-Type属性,所以如果开启了该参数,目的端选择写入的桶时,必须选择非归档存储的桶。 toJobConfig.quoteChar 否 Boolean “toJobConfig
(推荐)通过SDK调用APP认证方式的API APP认证方式的API接口可以分别绑定不同的应用,安全级别最高。而APP认证方式的API使用SDK调用方式,支持Java、Go、Python、JavaScript、C#、PHP、C++、C、Android等多种语言,可帮助您简单、快速地通过数据API获取到开放数据。
numExtractors”(抽取并发数)为“5”,则每个分片2个文件。 SIZE:按文件大小分割。注意这里不会将文件做切分来实现均衡。例如:有10个文件,9个10M,1个200M,在并发任务数中指定“throttlingConfig.numExtractors”(抽取并发数)为“2
目的端为Elasticsearch/云搜索服务 JSON样例 "to-config-values": { "configs": [ { "inputs": [