检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
算术和逻辑计算,引用内嵌对象,包括作业对象和一些工具类对象。 环境变量:环境变量是在操作系统中一个具有特定名字的对象,它包含了一个或者多个应用程序所使用到的信息。 补数据:手工触发周期方式调度的作业任务,生成某时间段内的实例。 父主题: 数据开发
公司更好地聚焦业务,持续创新。 场景描述 H公司是国内一家收集主要贸易国贸易统计及买家数据的商业机构,拥有大量的贸易统计数据库,其数据广泛应用于产业研究、行业研究、国际贸易促进等方面。 在这之前,H公司采用其自建的大数据集群,并安排专人维护,每年固定购买电信联通双线专用带宽,在机
据重复开发,造成资源浪费。 数据创新的挑战 企业内部存在大量数据孤岛,导致数据不共享、不流通,无法实现跨领域的数据分析与数据创新。 数据的应用还停留在数据分析报表阶段,缺乏基于数据反哺业务推动业务创新的解决方案。 什么是DataArts Studio? 数据治理中心DataArts
说明: 当开启数据集成作业特性后,可勾选数据集成组件,勾选后在数据开发组件创建集成作业时支持选择本数据连接。 离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 基础与网络连通配置 连接方式 是 选择所需的连接方式,推荐使用“通过代理连接”。
支持单次调度、周期调度和事件驱动调度,周期调度支持分钟、小时、天、周、月多种调度周期。 作业调度支持多种云服务的多种类型的任务混合编排,高性能的调度引擎已经经过几百个应用的检验。 运维监控 支持对作业进行运行、暂停、恢复、终止等多种操作。 支持查看作业和其内各任务节点的运行详情。 支持配置多种方式报警,作业
性层数据含义和业务规则。其描述了公司层面对某个数据的共同理解,这些理解一旦确定下来,就应作为企业层面的标准在企业内被共同遵守。 模型设计:应用逻辑模型、关系建模、维度建模和数据集市的方法,进行分层建模。 逻辑模型:用于创建逻辑模型以及逻辑模型的修改和删除,转化为物理模型。同时,可
Studio实例或增量包时,是否将资源放在同一可用区内,主要取决于您对容灾能力和网络时延的要求。 如果您的应用需要较高的容灾能力,建议您将资源部署在同一区域的不同可用区内。 如果您的应用要求实例之间的网络延时较低,则建议您将资源创建在同一可用区内。 详情请参见什么是可用区。 工作空间
同的空间下配置不一样,导出导入后需要重新进行配置。 常量是指在不同的空间下都是一样的,导入的时候,不需要重新配置值。 图1 环境变量 具体应用如下: 在环境变量中已新增一个变量,“参数名”为sdqw,“参数值”为wqewqewqe。 打开一个已创建好的作业,从左侧节点库中拖拽一个“Create
5xx:服务器端错误,服务器未能实现合法的请求。 状态码如表1所示。 表1 状态码 状态码 编码 状态说明 100 Continue 继续请求。 这个临时响应用来通知客户端,它的部分请求已经被服务器接收,且仍未被拒绝。 101 Switching Protocols 切换协议。只能切换到更高级的协议。
功能。 说明: 如果RDS上的“local_infile”参数组不可编辑,则说明是默认参数组,需要先创建一个新的参数组,再修改该参数值,并应用到RDS的MySQL实例上,具体操作请参见《关系型数据库用户指南》。 是 使用Agent Agent功能待下线,无需配置。 - Agent
安装目录为“/opt/client”。 在FusionInsight Manager界面下载用户认证凭证到本地。 用户为安全模式集群进行应用开发的场景下,需要获取用户keytab文件用于安全认证。管理员可以通过FusionInsight Manager导出keytab文件。用户凭据获取方法如下:
再写入到目的表中。如果源端数据库与目的端数据库字符编码不一样,但目的表字符类型字段与源表一样,在迁移数据时,可能会有出现长度不足的错误。 应用场景主要是将有中文内容的字符字段导入到DWS时,需要自动将字符长度放大3倍。 在导入中文内容的字符到DWS时,如果作业执行失败,且日志中出现类似“value
Alter:alter操作权限 All:所有执行权限 Temporary UDF Admin:临时UDF管理权限 Yarn Yarn队列权限: submit-app:提交队列任务权限 admin-queue:管理队列任务权限 HBase HBase列、列族的权限: Read:读权限 Write:写权限
为“ON”,开启该功能。 如果“local_infile”参数组不可编辑,则说明是默认参数组,需要先创建一个新的参数组,再修改该参数值,并应用到RDS的MySQL实例上。 单击“保存”回到连接管理界面。 创建整库迁移作业 两个连接创建完成后,选择“整库迁移 > 新建作业”,开始创建迁移任务,如图4所示。
级别压缩,CDM提供了适用I/O读写量大,CPU富足(计算相对小)的压缩场景。更多压缩级别详细说明请参见压缩级别。 存储模式:可以根据具体应用场景,建表的时候选择行存储还是列存储表。一般情况下,如果表的字段比较多(大宽表),查询中涉及到的列不多的情况下,适合列存储。如果表的字段个
自动创表:只有当源端和目的端都为关系数据库时,才有该参数。 表名:待写入数据的表名,可以手动输入一个不存在表名,CDM会在DWS中自动创建该表。 存储模式:可以根据具体应用场景,建表的时候选择行存储还是列存储表。一般情况下,如果表的字段比较多(大宽表),查询中涉及到的列不多的情况下,适合列存储。如果表的字段个
列表后,再重试。 Cdm.1400 无法连接NAS服务器。 请联系客服或技术支持人员协助解决。 Cdm.1401 无NAS服务器权限。 请申请NAS服务器权限后再重试。 Cdm.1501 不能连接到Elasticsearch服务器,原因:%s。 请根据错误提示进行定位,若无法解决,请联系客服或技术支持人员协助解决。
关联维度表质量规则 在弹出的页面中配置关联质量规则参数。配置完成单击确定。 更新已有规则:若勾选此项,新添加的规则会覆盖旧规则。 匹配字段:此参数默认应用于所有字段,依据用户输入的正则表达式对字段进行过滤。 Where条件:可依据用户输入的where条件对字段进行过滤。 生成异常数据:开启此
00,当前工作空间下已创建了API规格为500的两个集群,则当前工作空间下支持创建的专享版API最大数量为800。 单工作空间下支持创建的应用数量为1000。 单工作空间下支持创建的流控策略数量为500。 数据服务支持跟踪并保存事件。对于每个事件,数据服务会报告事件发生日期、说明
关联事实表质量规则 在弹出的页面中配置关联质量规则参数。配置完成单击确定。 更新已有规则:若勾选此项,新添加的规则会覆盖旧规则。 匹配字段:此参数默认应用于所有字段,依据用户输入的正则表达式对字段进行过滤。 Where条件:可依据用户输入的where条件对字段进行过滤。 生成异常数据:开启此