检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
逻辑模型 逻辑模型是利用实体及相互之间的关系,准确描述业务规则的实体关系图。逻辑模型要保证业务所需数据结构的正确性及一致性,使用一系列标准的规则将各种对象的特征体现出来,并对各实体之间的关系进行准确定义。 同时,逻辑模型也为构建物理模型提供了有力的参考依据,并支持转换为物理模型,
数据血缘关系更新依赖于作业调度,数据血缘关系是基于最新的作业调度实例产生的。 对于同一版本的数据开发作业,系统基于最新的作业调度实例生成数据血缘关系后,在冷却期(默认为48小时)内不会再次更新数据血缘关系。如需更新,需要等待冷却期结束或将数据开发作业再次提交版本后调度。 数据血缘关系删除需要通过删除作业或删除作业
DataArts Studio计费项 计费项 计费项子类 计费项说明 计费模式 计费说明 DataArts Studio基础包 新版本模式: 初级版 专家版 企业版 旧版本模式: 初级版 基础版 高级版 专业版 企业版 DataArts Studio基础包对应DataArts Studio实例,如果需要使用DataArts
选择DIS通道,当指定的DIS通道有新消息时,数据开发模块将新消息传递给作业,触发该作业运行。 事件处理并发数 选择作业并行处理的数量,最大并发数为10。 事件检测间隔 配置事件检测时间间隔。时间间隔单位可以配置为秒或分钟。 失败策略 选择调度失败后的策略: 结束调度 忽略失败,继续调度 图4 DIS调度策略配置
录MRS管理页面更新其初始密码,然后使用该新建用户创建MRS连接。 如需连接MRS 2.x版本的集群,请先创建2.x版本的CDM集群。CDM 1.8.x版本的集群无法连接MRS 2.x版本的集群。 由于当前CDM Hive连接是从MRS HDFS组件获取core-site.xml
细粒度认证,则使用当前IAM用户身份查看审计记录)。 对于MRS数据源,查看审计数据依赖于数据连接中Agent的版本,请确保CDM集群为2.10.0.300及以上版本。且MRS Hive数据连接中的用户账号需要同时满足如下条件: 需要配置至少具备Cluster资源管理权限的角色(
响应Body参数 参数 参数类型 描述 task_id String 诊断任务id scanning Boolean 是否正在扫描 check_time Long 最新检测时间。 kerberos SecurityCertification object 安全认证诊断结果 public_network_access
如果脚本未保存,重新打开脚本时,可以从本地缓存中恢复脚本内容。 脚本保存后,在右侧的版本里面,会自动生成一个保存版本,支持版本回滚。保存版本时,一分钟内多次保存只记录一次版本。对于中间数据比较重要时,可以通过“新增版本”按钮手动增加保存版本。 下载或转储脚本执行结果 脚本运行成功后,支持下载和转储SQ
作业配置完毕后,单击作业开发页面左上角“保存”按钮,保存作业的配置信息。 保存后,在右侧的版本里面,会自动生成一个保存版本,支持版本回滚。保存版本时,一分钟内多次保存只记录一次版本。对于中间数据比较重要时,可以通过“新增版本”按钮手动增加保存版本。 测试运行作业。 作业配置完毕后,单击作业开发页面左上角“测
作业和实时作业三种场景,支持的数据源情况如下: 数据集成(CDM作业)的数据连接在CDM集群中创建,CDM集成作业支持的数据源与CDM集群版本相关,详情请参见数据集成(CDM作业)支持的数据源。 数据集成(离线作业)的数据连接来自于管理中心中适用组件已勾选“数据集成”的数据连接,
管理API API版本管理 设置API可见 停用/恢复API 下线/删除API 复制API 同步API 全量导出/导出/导入API 父主题: 开发数据服务API
使用PHP语言调用APP认证的API时,您需要先获取SDK,然后新建工程,最后参考调用API示例调用API。 本章节以IntelliJ IDEA 2018.3.5版本为例介绍。 准备环境 已获取API的域名、请求url、请求方法、AppKey和AppSecret等信息,具体参见认证前准备。 获取并安装IntelliJ
Hive支持Ranger场景。 不支持ZK开启SSL场景。 MRS HDFS建议使用的版本: 2.8.X 3.1.X MRS HBase建议使用的版本: 2.1.X 1.3.X MRS Hive、MRS Hudi暂不支持2.x版本,建议使用的版本: 1.2.X 3.1.X 当前暂不支持对接“Kerberos加密类型”为“aes256-sha2
Hive支持Ranger场景。 不支持ZK开启SSL场景。 MRS HDFS建议使用的版本: 2.8.X 3.1.X MRS HBase建议使用的版本: 2.1.X 1.3.X MRS Hive、MRS Hudi暂不支持2.x版本,建议使用的版本: 1.2.X 3.1.X 当前暂不支持对接“Kerberos加密类型”为“aes256-sha2
*设定衍生指标 选择所需要的衍生指标,此处仅展示有时间限定衍生指标。系统会根据同比配置,利用时间限定自动计算同比增长率。 环比增长率 *设定衍生指标 选择所需要的衍生指标,此处仅展示有时间限定衍生指标。系统会利用时间限定自动计算环比增长率。 在页面下方,单击“试运行”按钮,然后在弹出框中单
使用Python语言调用APP认证的API时,您需要先获取SDK,然后新建工程,最后参考调用API示例调用API。 本章节以IntelliJ IDEA 2018.3.5版本为例介绍。 准备环境 已获取API的域名、请求url、请求方法、AppKey和AppSecret等信息,具体参见认证前准备。 获取并安装Python安装包(可使用2
使用JavaScript语言调用APP认证的API时,您需要先获取SDK,然后新建工程,最后参考API调用示例调用API。 本章节以IntelliJ IDEA 2018.3.5版本、搭建Node.js开发环境为例介绍。 准备环境 已获取API的域名、请求url、请求方法、AppKey和AppSecret等信息,具体参见认证前准备。
建议您在业务低峰期再次重试,或选择自建队列运行业务。 Spark版本 否 选定DLI队列后,下拉可选择作业使用Spark组件的版本号,使用时如无特定版本要求时使用默认版本号2.3.2,有特殊使用要求时选择对应的版本即可。 作业特性 否 作业使用的Spark镜像类型,当前支持基础型、AI增强型和自定义的Spark镜像。
建议使用的版本: 2.1.X 1.3.X Apache Hive 支持 不支持 整库迁移仅支持导出到关系型数据库。 暂不支持2.x版本,建议使用的版本: 1.2.X 3.1.X MRS Hudi 支持 支持 支持本地存储、存算分离场景。 暂不支持2.x版本,建议使用的版本: 1.2
最新动态 本文介绍了DataArts Studio各特性版本的功能发布和对应的文档动态,新特性将在各个区域(Region)陆续发布,欢迎体验。 2022年4月 序号 功能名称 功能描述 阶段 相关文档 1 数据服务 新增支持API全量导出。 数据服务脚本脚本模式API支持返回别名。