检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
新建码表 码表,也称lookup表、数据字典表,一般由中英文名称编码组成,由可枚举数据构成,存储枚举数据名称与编码的映射关系。码表的作用主要有: 在数据清洗中用于标准化业务数据以及补充映射字段。 在质量监控中用于监控业务数据的值域范围。 在维度建模中可以引申为枚举维度。 新建码表并发布
须添加所有节点IP(图中序号1)、域名信息(图中序号2),用回车分割。 图7 查看MRS集群节点IP和域名 登录MRS集群节点,详情请参见登录MRS集群节点,执行命令cat /etc/hosts,可以列出所有节点的IP和域名。 测试网络连接。 在DataArts Studio工作空间下创建数据连接,并创
须添加所有节点IP(图中序号1)、域名信息(图中序号2),用回车分割。 图9 查看MRS集群节点IP和域名 登录MRS集群节点,详情请参见登录MRS集群节点,执行命令cat /etc/hosts,可以列出所有节点的IP和域名。 测试网络连接。 在DataArts Studio工作空间下创建数据连接,并创
须添加所有节点IP(图中序号1)、域名信息(图中序号2),用回车分割。 图9 查看MRS集群节点IP和域名 登录MRS集群节点,详情请参见登录MRS集群节点,执行命令cat /etc/hosts,可以列出所有节点的IP和域名。 测试网络连接。 在DataArts Studio工作空间下创建数据连接,并创
须添加所有节点IP(图中序号1)、域名信息(图中序号2),用回车分割。 图14 查看MRS集群节点IP和域名 登录MRS集群节点,详情请参见登录MRS集群节点,执行命令cat /etc/hosts,可以列出所有节点的IP和域名。 测试网络连接。 在DataArts Studio工作空间下创建数据连接,并创
ax表示服务器发出请求后客户端没有响应的次数达到一定值,就自动断开,正常情况下,客户端会正常响应。 修改后,重启ECS的sshd,执行如下命令: restart sshd.service 检查sshd是否启动成功(下图为成功): 父主题: 数据开发
须添加所有节点IP(图中序号1)、域名信息(图中序号2),用回车分割。 图10 查看MRS集群节点IP和域名 登录MRS集群节点,详情请参见登录MRS集群节点,执行命令cat /etc/hosts,可以列出所有节点的IP和域名。 测试网络连接。 在DataArts Studio工作空间下创建数据连接,并创
如何使用表达式方式获取当前时间? 问题描述 如何使用表达式方式获取当前时间? 解决方案 您可以在字段映射界面使用DateUtils.format(${timestamp()},"yyyy-MM-dd HH:mm:ss")表达式获取当前时间,更多表达式设置方式可以参考表达式转换。 父主题:
须添加所有节点IP(图中序号1)、域名信息(图中序号2),用回车分割。 图9 查看MRS集群节点IP和域名 登录MRS集群节点,详情请参见登录MRS集群节点,执行命令cat /etc/hosts,可以列出所有节点的IP和域名。 测试网络连接。 在DataArts Studio工作空间下创建数据连接,并创
须添加所有节点IP(图中序号1)、域名信息(图中序号2),用回车分割。 图9 查看MRS集群节点IP和域名 登录MRS集群节点,详情请参见登录MRS集群节点,执行命令cat /etc/hosts,可以列出所有节点的IP和域名。 测试网络连接。 在DataArts Studio工作空间下创建数据连接,并创
须添加所有节点IP(图中序号1)、域名信息(图中序号2),用回车分割。 图7 查看MRS集群节点IP和域名 登录MRS集群节点,详情请参见登录MRS集群节点,执行命令cat /etc/hosts,可以列出所有节点的IP和域名。 购买弹性公网IP。 登录弹性公网IP控制台,单击“购买弹性公网IP”,根据界
须添加所有节点IP(图中序号1)、域名信息(图中序号2),用回车分割。 图13 查看MRS集群节点IP和域名 登录MRS集群节点,详情请参见登录MRS集群节点,执行命令cat /etc/hosts,可以列出所有节点的IP和域名。 测试网络连接。 在DataArts Studio工作空间下创建数据连接,并创
OBS数据迁移到云搜索服务 操作场景 CDM支持在云上各服务之间相互迁移数据,本章节介绍如何通过CDM将数据从OBS迁移到云搜索服务中,流程如下: 创建CDM集群 创建云搜索服务连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口,以及AK、SK。 已经开通
MySQL数据迁移到OBS 操作场景 CDM支持表到OBS的迁移,本章节以MySQL-->OBS为例,介绍如何通过CDM将表数据迁移到OBS中。流程如下: 创建CDM集群并绑定EIP 创建MySQL连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口,以及AK、SK。
须添加所有节点IP(图中序号1)、域名信息(图中序号2),用回车分割。 图7 查看MRS集群节点IP和域名 登录MRS集群节点,详情请参见登录MRS集群节点,执行命令cat /etc/hosts,可以列出所有节点的IP和域名。 购买弹性公网IP。 登录弹性公网IP控制台,单击“购买弹性公网IP”,根据界
MySQL数据迁移到DWS 操作场景 CDM支持表到表的迁移,本章节以MySQL-->DWS为例,介绍如何通过CDM将表数据迁移到表中。流程如下: 创建CDM集群并绑定EIP 创建MySQL连接 创建DWS连接 创建迁移作业 前提条件 已获取DWS数据库的IP地址、端口、数据库名
索引下的字段类型创建后不能修改,只能创建新字段。 如果一定要修改字段类型,需要创建新索引或到Kibana上用Elasticsearch命令删除当前索引重新创建(数据也会删除)。 CDM自动创建的索引,字段类型为date时,要求数据格式为“yyyy-MM-dd HH:mm:ss
Oracle到MRS Hudi参数调优 源端优化 Oracle抽取优化 暂无优化配置项。 目的端优化 Hudi写入优化 Hudi表写入性能慢,优先审视表设计是否合理,建议使用Hudi Bucket索引的MOR表,并根据实际数据量配置Bucket桶数,以达到Migration写入性能最佳。
源端为Redis JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig
(即CDM集群)和MRS租户面集群之间的网络。Manager的浮动IP地址可通过登录MRS集群主Master节点获取,执行ifconfig命令,回显中eth0:wsom的IP就是MRS Manager的浮动IP。登录MRS集群Master节点请参见登录集群节点章节,如果登录的是非