检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击数据库(或数据库和schema、命名空间)后的“设置”,设置采集任务扫描的数据库(或数据库和schema、命名空间)范围。当不进行设置时,默认选择该数据连接下的所有数据库(或数据库和schema、命名空间)。 单击数据表后的“设置”,设置采集任务扫描的数据表范围。当不进行设置时,默认选择数据库(或数据
FusionInsight LibrA过程中,建议按如下顺序选取分布列: 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景,建议设置所有主键作为分布列。 在没有主键的场景下,如果没有选择分布列,DWS会默认第一列作为分布列,可能会有数据倾斜风险。 因此,在单表或整库导入到DWS/FusionInsight
配置开发生产环境隔离 配置两套数据湖服务,进行开发与生产环境隔离。 对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS等),DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的数据湖。
问题。 是否设置周期补数据 是,补数据时会按照设置的周期进行补数据任务。 第一个值表示具体的值。 第二个值表示按指定周期补数据,例如:分钟、小时、天,周、月。 说明: 设置周期后,将会按照周期进行补数据任务调度。对于调度周期为分钟,间隔小时以及天的任务,将按照新设置的周期去调度补
DLI程序包:作业执行前,会将资源包文件上传到DLI资源管理。 分组设置 否 当“资源类型”选择了“DLI程序包”时,需要设置。可选择“已有分组”,“创建新分组”或“不分组”。 组名称 否 当“资源类型”选择了“DLI程序包”时,需要设置。 选择“已有分组”:可选择已有的分组。 选择“创建新分组”:可输入自定义的组名称。
选择需要执行的脚本。如果脚本未创建,请参考新建脚本和开发SQL脚本先创建和开发脚本。 数据连接 是 默认选择SQL脚本中设置的数据连接,支持修改。 数据库 是 默认选择SQL脚本中设置的数据库,支持修改。 MRS资源队列 否 选择已创建好的MRS资源队列。 说明: 需要先在数据安全服务队列权
特定分页数据,您可以修改如下参数设置分页,其中pageSize表示分页后的页面大小,pageNum表示页码。 图4 分页参数设置 自定义分页的脚本/MyBatis方式API是在创建API时将分页逻辑写到取数SQL中,因此不支持在调用时修改分页设置。 (可选)排序配置:默认情况下,
car_detail 导入前清空数据 选择导入前是否清空目的表的数据。 如果设置为是,任务启动前会清除目标表中数据。 否 空字符串作为null 如果设置为true,空字符串将作为null。 否 清空数据方式 导入前清空数据,如果设置为true时,呈现此参数。 TRUNCATE:删除标准数据。
组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 如果目标数据源为云上服务(如DWS、MRS及ECS等),则网络互通需满足如下条件: CDM集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群
功能总览 功能总览 全部 数据集成 数据开发 管理中心 数据架构 数据质量 数据目录 数据服务 数据安全 数据集成 数据集成提供30+同构/异构数据源之间数据集成的功能,帮助您实现数据自由流动。支持自建和云上的文件系统,关系数据库,数据仓库,NoSQL,大数据云服务,对象存储等数据源。
“操作 > 配额使用量”,查看每个工作空间的配额使用量。 设置配额使用量阈值告警 购买规格增量包前,您可以设置配额使用量阈值告警。当触发告警时,表明您应当购买规格增量包,否则随着业务量增长,您的业务可能会受到影响。 设置配额使用量阈值告警的操作方法如下所示: 在DataArts Studio实例卡片上,单击选择“更多
的资源配置。 管理节点CU数量 是 设置管理单元的CU数,支持设置1~4个CU数,默认值为1个CU。 并发数 是 并发数是指同时运行Flink SQL作业的任务数。 说明: 并发数不能大于计算单元(CUs-1)的4倍。 异常自动启动 否 设置是否启动异常自动重启功能,当作业异常时将自动重启并恢复作业。
REBOOT_FAILURE:重启失败。 type String 节点类型,只支持一种类型“cdm”。 id String 节点的虚拟机ID。 name String 节点的虚拟机名称。 isFrozen String 节点是否冻结:0:否。1:是。 components String 组件。 config_status
关系型数据库数据源的访问地址,可填写为IP或域名。 “IP或域名”如果手动填写,必须写内网IP,端口必须为对资源组网段放开的端口(如需设置请参见设置安全组规则),否则可能导致网络连接不通。 如果为RDS或GaussDB等云上数据源,可以通过管理控制台获取访问地址: 根据注册的账号登录对应云服务的管理控制台。
过滤及在字段映射页面添加新字段。 说明: 源端为Hive数据源且使用JDBC方式读取数据时,CDM不支持多并发,即后续操作中抽取并发数只能设置为1。 HDFS 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“
SQL脚本中开发完成的Hive SQL脚本“hive_sql”。 数据连接:默认选择SQL脚本“hive_sql”中设置的数据连接,支持修改。 数据库:默认选择SQL脚本“hive_sql”中设置的数据库,支持修改。 作业编排完成后,单击,测试运行作业。 如果运行成功,单击画布空白处,在右侧的“调度配置”页面,配置作业的调度策略。
是 HTTP消息的最长等待时间。若超时未收到消息,作业会被停止,节点状态置为取消。 最长等待时间的取值为1-24小时,默认为24小时。超过设置的最长等待时间,该节点及后续节点取消运行。 父主题: 节点参考
进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“备份管理”。 单击“启动每日备份”,打开“OBS文件浏览”页面,选择OBS文件夹,设置备份数据的存储位置。 图1 备份管理 每日备份在每日0点开始备份昨日的所有作业、脚本、资源和环境变量,启动当日不会备份昨日的作业、脚本、资源和环境变量。
cloudtable.com:2181 IAM统一身份认证 如果所需连接的CloudTable集群在创建时开启了“IAM统一身份认证”,该参数需设置为“是”,否则设置为“否”。 当选择IAM统一身份认证时,需要输入用户名、AK和SK。 否 用户名 登录CloudTable集群的用户名。 admin
据库dbadmin权限, 三权分立模式,连接中的用户需具备系统管理员权限。 非三权分立模式,参考数据库用户设置dbadmin管理员用户。 三权分立模式,参考设置三权分立设置系统管理员用户。 查看DWS集群guest agent版本 登录GaussDB(DWS) 管理控制台,进入“