正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建数据库的操作,一般您需要在数据湖产品中完成。 在本示例中,您可以参考以下任意一种方式在MRS Hive中创建数据库。 您可以在DataArts Studio数据开发模块中,可视化方式创建数据库,具体操作请参见新建数据库章节。 您可以通过在DataArts Studio数据开发模块或MR
前提条件 已具备CDM集群。 CDM集群与目标数据源可以正常通信。 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 如果目
杂性,有效的提高您数据迁移和集成的效率。更多详情请参见云数据迁移服务。 CDM进行数据迁移时,目标端为数据湖或其他大数据系统;源端可以是数据库也可以是对象存储。 CDM与DRS的区别: 目的端是大数据系统时,推荐使用CDM。 目的端是OLTP数据库或DWS时,推荐使用DRS迁移。
是否使用集群配置 是 此参数用于选择用户已经创建好的集群配置。 您可以通过使用集群配置,简化Hadoop连接参数配置。默认:关闭。 URI 是 是否使用集群配置开关打开时显示该参数。 表示NameNode URI地址。可以填写为:hdfs://namenode实例的ip:8020。 IP与主机名映射
图1 新建审核人界面 选择审核人(此处的账户列表来自于工作空间成员),输入正确的手机号码和电子邮箱,单击“确认”完成审核人的添加。 根据需要,可以添加多个审核人。 审核API申请 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左
库对象命名规则重新命名后恢复正常。 例如,DWS数据仓库中的数据表命名需要满足以下约束:长度不超过63个字符,以字母或下划线开头,中间字符可以是字母、数字、下划线、$、#。 解决方案 重新命名。 父主题: 数据集成
基本参数 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts
创建API时提示代理调用失败,怎么办? 数据服务API接口,访问“测试APP”,填写了相关参数,但是后台报错要怎么处理? 使用API时,每个子域名每天可以访问多少次? 数据服务专享版集群正式商用后,如何继续使用公测期间创建的数据服务专享版集群和API? API传参是否支持传递操作符? 工作空
支持通过宏定义变量表示符“${}”来完成时间类型的宏定义,当前支持两种类型:dateformat和timestamp。 通过时间宏变量+定时执行作业,可以实现数据库增量同步和文件增量同步。 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变
支持通过宏定义变量表示符“${}”来完成时间类型的宏定义,当前支持两种类型:dateformat和timestamp。 通过时间宏变量+定时执行作业,可以实现数据库增量同步和文件增量同步。 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变
Studio使用弹性云服务器(Elastic Cloud Server,简称ECS)进行CDM集群和数据服务集群的创建,另外DataArts Studio可以通过主机连接在ECS上执行Shell或Python脚本。 虚拟私有云服务 DataArts Studio使用虚拟私有云服务(Virtual
IAM认证方式的API只能授权给IAM类型的应用。 申请将API授权给应用 使用APP或IAM认证方式的API,在将API授权后,才能进行API调用。授权可以分为API开发者主动授权和API调用者申请授权,本文以API调用者申请授权为例进行介绍。 在DataArts Studio控制台首页,选择
接。 基础与网络连通配置 MRS集群名 是 选择所属的MRS集群。仅支持连接MRS云服务,自建Hadoop集群必须在纳管到MRS云服务后才可以选择。系统会显示所有项目ID和企业项目相同的MRS集群。 说明: 当前DataArts Studio不支持对接“Kerberos加密类型”为“aes256-sha2
输入或选择写入数据的目标表名。单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts
SCHEMA_EXAMPLE 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts
助快速缩小范围,找到对应的数据。 详情:使用数据地图根据表名直接查看表详情,快速查阅明细信息,掌握使用规则。 血缘:通过数据地图的血缘分析可以查看每个数据表的来源、去向,并查看每个表及字段的加工逻辑。 父主题: 查看工作空间数据地图
Studio控制台首页,选择对应工作空间的“数据集成”模块,进入CDM首页。 图1 集群列表 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 选择集群操作列中的“更多 > 下载日志”,选择下载日志类型。 图2 下载日志类型 确认后,即可下载日志到本地。 父主题: 创建并管理CDM集群
varying。类似的问题还有string转bigint,bigint转int。 解决方案 根据报错信息找到哪个字段映射有问题,找DBA修改表结构。 如果只有极少数据有问题,可以配置脏数据策略解决。 父主题: 数据集成
BOOLEAN来处理,将1或0读取为true或false。 解决方案 在MySQL数据连接高级属性中,连接属性新增如下参数之一即可,这样就可以在目的端正常建表。 “tinyInt1isBit”参数,参数值设为“false”。 “mysql.bool.type.transform”参数,参数值设为“false”。
单击“作业参数配置”,进入“作业参数配置”界面。 在“变量”里面输入该变量para和变量值。该值的大小不能超过1024个字符。 图3 配置作业参数 按照上述方法就可以解决请求头参数值输入的长度问题。 父主题: 数据开发