检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
连接引用表名或列名时的分隔符号,参考对应数据库的产品文档进行配置。默认为"。 单次提交行数 否 指定单次批量提交的行数。默认为10000。 连接属性 否 连接属性,包含属性名称和属性值。 例如: 1. socket_timeout: socket连接超时的时间,单位为毫秒。 2. c
用户账户下属的资源租户,使用资源租户的VPC网段,因此不占用用户账户的VPC网段。 查看方式: 登录DataArts Studio控制台,进入实例,单击“资源管理”进入资源管理页面,在“实时资源管理”中单击指定资源组的下拉框,查看该资源组的VPC网段。 图2 查询资源组网段 172
limit 否 Integer 每页查询条数,即查询Y条数据。默认值50,取值范围[1,100]。 offset 否 Integer 查询起始坐标,即跳过X条数据,仅支持0或limit的整数倍,不满足则向下取整,默认值0。 请求参数 表3 请求Header参数 参数 是否必选 参数类型
数据连接类型 是 SFTP/FTP连接固定选择为SFTP/FTP。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,
[HASH(column)|REPLICATION]。 枚举值: HASH: 对指定的列进行Hash,通过映射,把数据分布到指定DN REPLICATION: 表的每一行存在所有数据节点(DN)中,即每个数据节点都有完整的表数据 distribute_column 否 String
Flink作业生成checkpoint的间隔,单位为毫秒。数据量大的作业建议调大,需要给更长时间进行数据Flush,但会增加时延。 checkpoint.timeout.ms int 600000 Flink作业生成checkpoint的超时时间,单位为毫秒。 父主题: 任务性能调优
对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS等),DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务,且两套数据湖服务的版本、规
x版本集群,2.x及之后版本无法通过HBase修复命令重建HBase表。 迁移的目标集群为2.x及之后版本时,HBase修复命令已经不再支持,通过HBase数据目录迁移的方式无法使用。 迁移方案 图1 迁移方案 H公司的车联网大数据业务平台当前CDH(Cloudera Hadoop) HB
用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。
0/19),下一跳跳至此前已配置好的云连接。 图6 数据源路由表添加路由 云连接中转VPC的网络实例修改VPC CIDRs。 登录云连接控制台,在左侧导航栏,选择“云连接 > 云连接实例”,在列表中查找所用的云连接,单击名称进入配置界面,在“网络实例”页签中找到中转VPC的实例,单击右侧的“修改VPC
作业抽取并发数的配置原则如下: 迁移的目的端为文件时,CDM不支持多并发,此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取,超过1MB的建议单线程抽取数据。 作业抽取并发数可参考集群最大抽取并发数配置,但不建议超过集群最大抽取并发数上限。 源端为Hive数
Integer 查询起始坐标,即跳过X条数据,仅支持0或limit的整数倍,不满足则向下取整,默认值0。 biz_catalog_id 否 String 所属的业务分层的ID。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String
点数据集罗列了各个点的数据信息。一行为一个点的数据。格式如下所示,id是点数据的唯一标识。 id,label,property 1,property 2,property 3,… 边数据集罗列了各个边的数据信息,一行为一条边的数据。GES中图规格是以边的数量进行定义的,如一百万边。格式如下所示,id
以作业为一整体进行调度,具体请参见配置作业调度任务(批处理作业)。 实时处理作业:处理实时的连续数据,主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的业务关系,每个节点可单独被配置调度策略,而且节点启动的任务可以永不下线。在实时作业里,带箭头的连线仅代表业务上的关系,而非任务执行流程,更不是数据流。
抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面,用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。 说明: 该参数支持配置通配符(*),实现导出以某一前缀开头或者以某一后缀结尾的所有数据库。例如:
Boolean 是否查询最新的。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String IAM Token,通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值) 使用Token认证时必选。
String 属性值。 fd_id String 属性定义的ID,ID字符串。 directory_id String 标准所属目录,ID字符串。 row_id String 标准所属行,ID字符串。 id String 数据标准的ID,ID字符串。 status String 实体的发布状态,只读,创建和更新时无需填写。
该连接的作业时,数据连接及连接相关配置不可见。 委托 选择需要授权的IAM委托,仅限于委托对象为“数据湖治理中心 DGC”的云服务类型委托。如需新建委托,请参考参考:创建委托。 说明: 对于未选择的委托,则默认该委托权限放开,不做权限管控。 对于选择的委托,则非授权对象的普通用户(即非DAYU
用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。
如何实现用户的工作空间隔离,使其无法查看其他未授权工作空间? DataArts Studio基于系统角色+工作空间角色实现授权的能力。默认情况下,当为普通用户配置了DAYU User系统角色,未添加为某个工作空间角色时,则该用户无法查看此工作空间。 注意,如果该普通用户同时被配置了DAYU