检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 连接属性 可选参数,单击“添加”可增加多个指定数据源的JDBC连接器的属性,参考对应数据库的JDBC连接器说明文档进行配置。 sslmode=require 引用符号
数据集市:在DM层新建并发布汇总表 步骤6:数据开发处理 可管理多种大数据服务,提供一站式的大数据开发环境。 使用DataArts Studio数据开发,用户可进行数据管理、脚本开发、作业开发、作业调度、运维监控等操作,轻松完成整个数据的处理分析流程。 数据管理 数据管理 脚本开发 脚本开发 作业开发 作业开发
文件可用于导入。导出主题设计信息的操作,请参见导出主题设计信息。 建立好主题设计信息后,可以对主题信息进行查找、编辑或删除操作。详情请参见管理主题设计。 主题设计概述 默认情况下,系统预设了“L1-主题域分组”、“L2-主题域”和“L3-业务对象”三层主题层级。 主题域分组:主题域分组是基于业务场景对主题域进行分组。
"Action=ListUsers&Version=2010-05-08", "demo"); 给请求添加header头,内容为具体参数数据。如果有需要,添加需要签名的其他头域。 1 2 request->addHeader("x-stage", "RELEASE");
params.query_str = query_str; params.payload = payload; 给请求添加header头,内容为具体参数数据。如果有需要,添加需要签名的其他头域。 sig_headers_add(¶ms.headers, "x-stage", "RELEASE");
高优先级。 Flink作业资源包 是 选择Jar包。在选择Jar包之前,您需要先将Jar包上传至OBS桶中,并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中,具体操作请参考新建资源。 重跑策略 否 从上一个检查点重跑 重新启动 输入数据路径 否 设置输入数据路径,系统
参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“管理中心”模块,进入管理中心页面。 在“数据连接”页面,单击“创建数据连接”按钮。 图2 数据连接 在弹出窗口中,配置数据连接参数
参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“管理中心”模块,进入管理中心页面。 在管理中心页面,单击“数据连接”,进入数据连接页面并单击“创建数据连接”。 图1 创建数据连接
指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 连接属性 可选参数,单击“添加”可增加多个指定数据源的JDBC连接器的属性,参考对应数据库的JDBC连接器说明文档进行配置。 常见配置举例如下: connectTime
如果当前用户已被添加为审核人,则可以勾选“自助审批”,单击“确认提交”后,状态显示为“已发布”。 选择审核人时,系统支持选择多个审核人,全部审批通过后,状态才会显示为已发布。如果有任意一个人驳回,则状态为已驳回。 等待审核人员审核。 审核通过后,时间限定创建完成。 管理时间限定 在数
指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 连接属性 可选参数,单击“添加”可增加多个指定数据源的JDBC连接器的属性,参考对应数据库的JDBC连接器说明文档进行配置。 常见配置举例如下: connectTime
数据表名的前后缀、选择已有表和异常字段。如果不配置异常字段,默认会输出异常表的所有字段。 说明: 自定义异常表包含四种方式:添加表前后缀、添加表前缀、添加表后缀、选择已有表。表前缀以英文字母和下划线开头,且只能包含英文字母、数字和下划线。表后缀只能包含英文字母、数字和下划线。 当
高优先级。 Flink作业资源包 是 选择Jar包。在选择Jar包之前,您需要先将Jar包上传至OBS桶中,并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中,具体操作请参考新建资源。 重跑策略 否 从上一个检查点重跑 重新启动 输入数据路径 否 设置输入数据路径,系统
Administrator或数据安全管理员有权限新建、编辑或删除下载权限策略。 在配置下载权限策略前,应确保授权对象已具备在数据开发组件中SQL脚本执行结果的转储以及在下载中心下载操作权限(即已被授予DataArts Studio权限并被添加为对应工作空间角色,详见授权用户使用DataArts
出功能进行备份。 如果配置了VPC对等连接,可能会出现对端VPC子网与CDM管理网重叠,从而无法访问对端VPC中数据源的情况。推荐使用公网做跨VPC数据迁移,或联系管理员在CDM后台为VPC对等连接添加特定路由。 CDM迁移,当目的端为DWS和NewSQL的时候,不支持将源端的主键和唯一索引等约束一起迁移过去。
修改表属性、添加附加字段,并通过“自动建表”能力在目的端DWS数据库中建出相应的表。 图7 源表与目标表映射 附加字段编辑:单击操作列“附加字段编辑”可为目的端的DWS表中增加自定义字段,同时附加字段也会额外加入到DWS表的建表中。用户可以在已有的源表字段基础上添加多个附加字段,
通过关系图,可以查看该原子指标的血缘图。 通过发布历史,可以查看该原子指标的发布历史和不同发布版本之间的差异对比。 管理原子指标 在数据架构控制台,单击左侧导航树中的“技术指标”,选择“原子指标”页签,进入原子指标页面。 图2 管理原子指标 您可以根据实际需要选择如下操作。 表2 操作 当需要... 则... 新建
自定义工作空间角色 添加工作空间成员和角色 管理中心 DataArts Studio支持的数据源 创建数据连接 资源迁移 使用教程 数据集成 数据集成概述 CDM支持的数据源 CDM使用教程 数据架构 准备工作 数据调研 标准设计 模型设计 指标设计 数据集市建设 数据开发 数据管理 脚本开发
创建CDM迁移作业 登录控制台,选择实例,单击“进入控制台”,单击相应工作空间后的“数据集成”。 在集群管理页面,单击集群操作列“作业管理”,进入“作业管理”页面,如图1所示。 图1 集群管理 在“连接管理”页签中,单击“新建连接”,分别创建Oracle数据连接和MRS Hive数据连接,详情请
指定每次批量提交的行数,根据数据目的端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 连接属性 自定义连接属性。可选参数,单击“添加”可增加多个指定数据源的JDBC连接器的属性,参考对应数据库的JDBC连接器说明文档进行配置。 常见配置举例如下: socketTimeo