检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Dump将根据重名策略进行下一步操作。 忽略:不添加转储任务,并退出DIS Dump,DIS Dump的状态为“成功”。 覆盖:继续添加转储任务,覆盖已存在的重名转储任务。 转储服务类型 是 选择转储服务类型,目前支持转储至: CloudTable:通道里的流式数据存储在DIS中,并实时导入表格存储服务Cloud
DataArts Studio在同一区域、同一Region。 工作流版本 是 选择ModelArts工作流版本。 V1 V2 ModelArts工作流 是 选择ModelArts工作流。该工作流必须是与DataArts Studio在同一区域,同一Region的ModelArts
描述:无 在“字段配置”区域,选择 " 新建 > 维度",在弹出框中选择维度“费率代码”、“供应商”、“付款方式”、“日期维度”,单击“确定”。再次选择 " 新建 > 维度",在弹出框中选择“日期维度”并单击“确定”。然后,在维度字段列表中,调整维度字段的顺序,并修改2个日期维度的信息,如表12所示。
在弹出的创建任务页面输入信息,参数配置请参考表1。 图2 创建数据水印溯源任务 表1 水印溯源任务参数描述 参数名 参数描述 任务名称 嵌入水印任务的名称,只能包含英文字母、数字、中文字符、下划线或中划线,且长度为1~64个字符。 描述 为更好地识别嵌入水印任务,此处加以描述信息。长度不能超过1024个字符。 源文件
DataArts Studio实例参数 参数名称 样例 说明 区域 - 选择实例的区域,不同区域的资源之间内网不互通。 选择区域时,您需要考虑以下几个因素: 地理位置 一般情况下,建议就近选择靠近您或者您的目标用户的区域,这样可以减少网络时延,提高访问速度。不过,在基础设施、BGP
暂无优化配置项。 目的端优化 Hudi写入优化 Hudi表写入性能慢,优先审视表设计是否合理,建议使用Hudi Bucket索引的MOR表,并根据实际数据量配置Bucket桶数,以达到Migration写入性能最佳。 使用Bucket索引:通过在“Hudi表属性全局配置”或在映射后的单表“表属性编辑”中配置index
区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源),以默认项目为单位进行授权,用户可以访问您账号中该区域的所有资源。如果您希望进行更加精细的权限控制,可以在区域默认的项目中创建子项目,并在子项目中创建资源,然后以子项目为单位进行授权,使得用户仅能访问特
SDK使用前准备 下载SDK,并导入对应SDK到本地开发工具。 登录DataArts Studio控制台。 单击“数据服务”模块。 单击左侧菜单“共享版 > SDK”或“专享版 > SDK”。 单击SDK使用引导区域里对应语言的SDK,下载SDK包到本地。 进行SDK包完整性校验
如果数据湖为云上服务(如DWS、MRS等),则网络互通需满足如下条件: CDM集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。 CDM集群与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需
整合、清洗,并基于三范式进行关系建模。 如果是在DWR层或者自定义维度建模数仓分层,此处仅可选择DWR、自定义数仓分层。 如果是在DM层或者自定义数据集市数仓分层,此处仅可选择DM、自定义数仓分层。 前缀校验 输入检验前缀。只能包含英文字母、数字和下划线,且以英文字母开头。 说明:
GES算子的具体使用教程,请参见基于MRS Hive表构建图数据并自动导入GES。 参数 用户可参考表1和表2配置Import GES节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。
(可选)新建数据库模式 DWS数据连接创建完成后,可以在右侧区域中管理DWS数据连接的数据库模式。 如果已有的数据库模式满足您的使用需求,则您可以跳过本章节;否则,请您按照本章节描述新建数据库模式。 前提条件 已新建DWS数据连接,请参见新建数据连接。 已新建DWS数据库,请参见新建数据库。
在下拉框中选择所需要的时间限定,并选择关联的字段。系统预置了一些时间限定,如果不能满足需求,请参考新建时间限定进行创建。 通用限定 如需设置通用限定,可以单击“新建”按钮新建一个或多个通用限定。只能包含中文、英文字母、数字和下划线,且只能以中文或英文字母开头。 如图2所示,在新建通用限定区域,通过以下配置新建一个通用限定。
1000 每张表在重演数据时每次抽取的数据条数,值较大时,会使得内存升高并阻塞增量同步任务。 目的端优化 Hudi写入优化 Hudi表写入性能慢,优先审视表设计是否合理,建议使用Hudi Bucket索引的MOR表,并根据实际数据量配置Bucket桶数,以达到Migration写入性能最佳。
获取实例ID和工作空间ID 获取终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。 数据治理中心的终端节点Endpoint构造规则如下,请您根据业务需要选择对应区域的终端节点。 CDM数据集成接口:cdm.{region_id}.myhuaweicloud
使用新建的用户登录Manager页面,并更新初始密码,否则会导致创建连接失败。 同步IAM用户。 登录MRS管理控制台。 选择“集群列表 > 现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在“概览”页签的基本信息区域,单击“IAM用户同步”右侧的“同步”进行IAM用户同步。
使用新建的用户登录Manager页面,并更新初始密码,否则会导致创建连接失败。 同步IAM用户。 登录MRS管理控制台。 选择“集群列表 > 现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在“概览”页签的基本信息区域,单击“IAM用户同步”右侧的“同步”进行IAM用户同步。
使用新建的用户登录Manager页面,并更新初始密码,否则会导致创建连接失败。 同步IAM用户。 登录MRS管理控制台。 选择“集群列表 > 现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在“概览”页签的基本信息区域,单击“IAM用户同步”右侧的“同步”进行IAM用户同步。
在“权限”页签,可申请数据表权限或给其他用户授权。 在未上线数据安全组件的区域,申请权限和授权流程由数据目录组件提供,详见配置数据表权限(待下线)。 在已上线数据安全组件的区域,申请权限和授权流程由数据安全组件提供。 在已上线数据安全组件的区域,数据表权限功能已由数据安全组件提供,不再作为数据目录组件能力。
文件格式为二进制格式时显示该参数。 将二进制文件先写入到临时文件。临时文件以".tmp"作为后缀。 否 换行符 文件格式为CSV格式时显示该参数。 文件中的换行符,默认自动识别"\n"、"\r"或"\r\n"。手动配置特殊字符,如空格回车需使用URL编码后的值。或通过编辑作业json方式配置,无需URL编码。 \n