检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
行失败,且日志中出现类似“value too long for type character varying”的错误,则可以通过启用该功能解决。 说明: 当启动该功能时,也会导致部分字段消耗用户相应的3倍存储空间。 否 使用非空约束 当选择自动创建目的表时,如果选择使用非空约束,
在配置作业调度时,可以选择每个月的最后一天执行。如果您需要配置作业的调度时间为每月最后一天,请参考下面两种方法。 表1 配置每月最后一天进行调度 配置方法 优势 如何配置 调度周期配置为天,通过条件表达式进行判断是否为每月最后一天 可以灵活适用多种场景。只需要编写条件表达式就可以灵活调度作业去运行。例如,每月最后一天,每月七号等。
在配置作业调度时,可以选择每个月的最后一天执行。如果您需要配置作业的调度时间为每月最后一天,请参考下面两种方法。 表1 配置每月最后一天进行调度 配置方法 优势 如何配置 调度周期配置为天,通过条件表达式进行判断是否为每月最后一天 可以灵活适用多种场景。只需要编写条件表达式就可以灵活调度作业去运行。例如,每月最后一天,每月七号等。
可选参数,连接引用表名或列名时的分隔符号,参考对应数据库的产品文档进行配置。 " 驱动版本 不同类型的关系数据库,需要适配不同的驱动,更多详情请参见如何获取驱动。 - 单次请求行数 可选参数,单击“显示高级属性”后显示。 指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。
发布历史”,然后在展开的页面中进入“发布日志”页签查看日志。请根据错误日志定位失败原因,问题解决后,您可以在汇总表页面勾选该汇总表,再单击列表上方的“更多 > 同步”尝试重新同步。如果问题仍未能解决,请联系技术支持人员协助处理。 企业模式下,进行同步时,可以选择同步到生产环境或开发环境
在配置实时同步任务前,您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通,您可以根据数据库所在网络环境,选择合适的网络解决方案来实现网络连通。 本章节主要为您介绍数据库部署在其他云厂商场景下的网络打通方案。 图1 网络示意图 约束限制 资源组为私网网段,不能与
I审核。 申请自己的API推荐采用API主动授权/续约,无需审核。 自己的应用推荐采用APP解除授权,无需预留准备时间。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/service/apis/authorize/action 表1 路径参数
Studio数据开发模块或对应数据湖产品的SQL编辑器上,开发并执行用于创建数据表的SQL脚本,从而创建数据表。 本章节以可视化模式和DDL模式为例,介绍如何在数据开发模块新建数据表。 前提条件 已创建数据库及DWS数据库模式,请参见新建数据库和(可选)新建数据库模式。 已在数据开发模块中创建与
可选参数,连接引用表名或列名时的分隔符号,参考对应数据库的产品文档进行配置。 " 驱动版本 不同类型的关系数据库,需要适配不同的驱动,更多详情请参见如何获取驱动。 - 单次请求行数 可选参数,单击“显示高级属性”后显示。 指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。
PI授权给账号使用。添加白名单授权后,从IAM服务获取的授权账号及其归属用户的Token才能通过安全认证,成功调用API。 本章节为您介绍如何通过白名单授权将API授权给账号。 约束与限制 对于数据服务共享版IAM认证方式的API,系统已默认记录了当前账号的白名单,不支持删除,因
除的权限集(包含空间权限集、权限集以及通用角色)或动态脱敏策略数据。 不同数据还原时的操作基本一致,后续步骤以还原权限集数据为例,为您介绍如何还原数据。 在权限集页签,找到待还原的权限集,单击列表操作栏中的“还原”进行数据还原。或者勾选待还原的权限集,单击列表上方的“还原”,进行批量还原。
停止调度不会触发血缘关系的删除。 前提条件 已在数据架构组件中定义并发布过的逻辑实体与数据表、业务指标。 已配置元数据采集任务并成功运行,如何创建采集任务请参见创建采集任务。 资产总览 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
发布历史”,然后在展开的页面中进入“发布日志”页签查看日志。请根据错误日志定位失败原因,问题解决后,您可以在事实表页面勾选该事实表,再单击列表上方的“更多 > 同步”尝试重新同步。如果问题仍未能解决,请联系技术支持人员协助处理。 企业模式下,进行同步时,可以选择同步到生产环境或开发环境
MRS数据源的用户同步任务有如下约束: 如果MRS数据源已有与待同步用户同名的人机用户,则会导致MRS用户同步任务失败。此失败暂无报错信息,建议可通过如下方式之一解决: 使用MRS集群详情中“IAM用户同步”功能,不必再运行数据安全侧的用户同步任务。IAM用户同步与用户同步任务功能类似,但如果有用户同名
> 发布历史”,然后进入“发布日志”页签查看日志。 请根据错误日志定位失败原因,问题解决后,再单击“发布日志”页面中的“重新同步”再次下发同步命令。如果仍同步失败,请联系技术支持人员协助解决。 在开启“同步业务资产”功能的前提下,若关闭了“物理表同步业务资产”按钮,鼠标移至“同
已创建集群。 已参见表1下载对应的驱动。 已参见FTP/SFTP连接参数说明创建SFTP连接并将对应的驱动上传至线下文件服务器(可选)。 如何获取驱动 不同类型的关系数据库,需要适配不同类型的驱动。注意,上传的驱动版本不必与待连接的数据库版本相匹配,直接参考表1获取建议版本的JDK8
性可以考虑设置为false关闭compaction操作,将Hudi Compaction单独拆成Spark作业交由MRS执行,具体可以参考如何配置Hudi Compaction的Spark周期任务?。 compaction.delta_commits int 40 实时处理集成生成compaction
类型名称 权限要求 源数据库连接账号 Oracle 库需要开启归档日志,同时需表查询权限和日志解析权限,开通对应权限详情请参考Oracle数据源如何开通归档日志、查询权限和日志解析权限?。 目标数据库连接账号 MRS用户需要拥有Hadoop和Hive组件的读写权限,建议参照图1所示角色及用户组配置MRS用户。
PI授权给账号使用。添加白名单授权后,从IAM服务获取的授权账号及其归属用户的Token才能通过安全认证,成功调用API。 本章节为您介绍如何通过IAM类型应用授权将API授权给当前账号。 约束与限制 通过IAM应用授权的IAM认证方式API,仅支持通过当前账号及其归属用户的To
性可以考虑设置为false关闭compaction操作,将Hudi Compaction单独拆成Spark作业交由MRS执行,具体可以参考如何配置Hudi Compaction的Spark周期任务?。 compaction.delta_commits int 40 实时处理集成生成compaction