检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何创建数据库和数据表,数据库对应的是不是数据连接? 问题描述 用户对于创建数据库和数据表,数据库与数据连接的关系不清楚,需要具体解释下,便于用户理解。 解决方案 数据库和数据表可以在DataArts Studio服务中创建。 数据库对应的不是数据连接,数据连接是创建DataArts
图3 配置血缘输入 完成血缘的输入表配置后,单击确定,继续配置血缘的输出表。假如MRS Spark作业中的输出表为“a”,则血缘输出配置如图4所示。 图4 配置血缘输出 完成血缘的输出表配置后,单击确认,则此MRS Spark节点的血缘关系手动配置成功。后续当需要查看血缘关系
JDBC连接器的属性,参考对应数据库的JDBC连接器说明文档进行配置。 常见配置举例如下: socketTimeout:配置JDBC连接超时时间,单位为毫秒。 mysql.bool.type.transform:配置mysql读取时,是否将tinyint(1)解析成boolean类型,默认为true。
添加审核人 管理配置中心 数据架构中提供了丰富的自定义选项,统一通过配置中心提供,您可以根据自己的业务需要进行自定义配置。 在数据架构控制台,单击左侧菜单栏的“配置中心”,进入配置中心页面。 进入“功能配置”页签,如下图所示,设置“模型设计业务流程步骤”。 图2 功能配置 单击“确定”完成配置。
认发布到生产环境。 关联质量规则 单击“关联质量规则”,配置下图所示的相关参数,完成质量规则的关联。有关关联质量规则的更多信息,您也可以参考关联质量规则。 图2 关联质量规则 生成异常数据:打开此项,表示异常数据将按照配置的参数存储到规定的库中。 父主题: 数据架构
当天告警分类统计、当天数据表告警统计、最近7天规则告警分类趋势的统计和最近7天规则数量的趋势。 规则模板 质量规则模板是数据质量的核心功能,是配置规则的主要入口。它主要管理规则配置(内置模板和自定义模板)的相关功能。 质量作业 质量作业可将规则模板或自定义规则应用到表中,进行数据质量监控。 对账作业
数据安全 为什么运行静态脱敏任务后却没有按照规则脱敏? 审批DWS权限申请时提示“缺少必要的请求参数”怎么办? 启用细粒度认证时,DWS联通性检测报错“FATAL: Invalid username/password,login denied”怎么办? 启用细粒度认证后,在数据开发组件选择数据库时报错“Failed
sql.shuffle.partitions的值只能为正整数。 如果作业和脚本中同时配置了同名的参数,作业中配置的值会覆盖脚本中的值。 说明: 用户定义适用于此作业的配置参数。目前支持的配置项: dli.sql.autoBroadcastJoinThreshold(自动使用BroadcastJoin的数据量阈值)
或通过咨询了解。 购买并配置DataArts Studio 如果您是第一次使用DataArts Studio,需要先完成注册华为账号、购买DataArts Studio实例、创建工作空间等一系列操作。 购买并配置DataArts Studio 购买并配置DataArts Studio
认证前准备。 获取并安装Go安装包,如果未安装,请至Go官方网站下载。 获取并安装IntelliJ IDEA,如果未安装,请至IntelliJ IDEA官方网站下载。 已在IntelliJ IDEA中安装Go插件,如果未安装,请按照图1所示安装。 图1 安装Go插件 获取SDK 登录DataArts
数据库名称 是 配置为要连接的数据库名称。 单次请求行数 否 可选参数,指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 单次提交行数 否 指定每次批量提交的行数,根据数据目的端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。
dws_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同,请根据具体情况配置。 数据库名称 配置为要连接的数据库名称。 dbname
本例中为了方便演示,我们需要通过数据集成将CSV格式的样例数据导入到MySQL数据库中,之后MySQL数据库即作为案例场景中的原始数据源端。因此在数据导入中,需要在MySQL数据库中预先创建原始数据表。 正式业务流程中,MySQL数据库源端数据需要导入OBS数据库作为点数据集和边数据集,这种
工作空间 工作空间是从系统层面为管理者提供对使用DataArts Studio的用户(成员)权限、资源、DataArts Studio底层计算引擎配置的管理能力。 工作空间作为成员管理、角色和权限分配的基本单元,每个团队都可具有独立的工作空间。 您只有在加入工作空间并被分配权限后,才可具
在脚本开发导航栏,选择,展开数据连接层级至“tables”,右键单击“新建数据表”或者单击新建数据表。 在弹出的对话框中,显示“配置基本属性”页面,参见表1配置相关参数。 表1 基本属性 数据连接类型 参数说明 DLI 请见表5的“基本属性”部分 DWS 请见表6的“基本属性”部分 MRS
配置数据表权限(待下线) 在已上线数据安全组件的区域,数据表权限功能已由数据安全组件提供,不再作为数据目录组件能力。 数据安全组件当前在上海一、上海二、乌兰察布一、华南广州和北京四区域部署上线。 用户可以在“我的权限”页面,查看工作空间内自己拥有的表和列权限,并对表和列的权限进行申请或交还。
数据架构配置数据搬迁 当前管理中心支持直接搬迁数据架构组件中的主题、流程、码表、数据标准、关系建模模型、维度、业务指标、原子指标、衍生指标、复合指标和汇总表数据,但不包含事实表数据。 您可以通过管理中心配置数据搬迁进行搬迁,也可以参考本章节通过数据架构的导入导出功能进行搬迁。 数
2版本,获取sqljdbc42.jar 达梦数据库 DM DM DM JDBC驱动jar包请从DM安装目录/dmdbms/drivers/jdbc中获取DmJdbcDriver18.jar。 请从对应版本的安装目录中获取DmJdbcDriver18.jar POSTGRESQL_KINGBASE
aArts Studio的界面中就可以进行快速的数据开发工作,让企业数据体系的建设变得如此简单。 优势 数据集成一键式操作 通过在服务界面配置化操作,可实现线上线下数据快速集成到云数据仓库。 支持多种数仓服务类型 根据需求,可以灵活选择数据服务类型,可以选择DWS服务建数仓,也可以选择MRS服务等数据平台。
"true" Where: COPY sd_mask_ext, line 1, column mask_type. 原因分析 MySQL默认开启配置tinyInt1isBit=true,会将TINYINT(1)当作BIT也就是Types.BOOLEAN来处理,将1或0读取为true或false。