-
配置MRS Doris数据连接 - 数据治理中心 DataArts Studio
Doris获取方法: 登录MRS FusionInsight Manager。 选择“集群 > 服务 > Doris > 配置 > 基础配置”,搜索“query_port”查看端口值。 KMS密钥 是 通过KMS加解密数据源认证信息,选择KMS中已创建的密钥。 绑定Agent 是 MRS为非全托管服务,DataArts
-
文件格式介绍 - 数据治理中心 DataArts Studio
hits”,然后在作业第二步添加转换器,操作步骤如下: 单击添加字段,新增一个字段。 图2 添加字段 在添加的新字段后面,单击添加字段转换器。 图3 添加字段转换器 创建“表达式转换”的转换器,表达式输入“1.0”,然后保存。 图4 配置字段转换器 二进制格式 如果想要在文件系统间按原样复制文件,
-
元数据简介 - 数据治理中心 DataArts Studio
产显示业务指标及其详情。 DataArts Studio中的技术元数据来源于元数据采集任务,您需要在创建并运行元数据采集任务后才能在数据地图中查看元数据。 父主题: 元数据采集
-
如何选择版本 - 数据治理中心 DataArts Studio
回到您的付款账户中)。 因此,我们强力推荐您将已有DataArts Studio实例从旧模式升级为新模式。各版本切换前后的情况对比如图1所示。 图1 模式切换前后对比 版本模式升级操作不可回退,升级过程及升级后对功能、业务操作和运行均无任何影响。值得注意的是,切换到新商业模式后,
-
调试API - 数据治理中心 DataArts Studio
操作步骤 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据服务”模块,进入数据服务页面。 图1 选择数据服务 在左侧导航栏选择服务版本(例如:专享版),进入总览页。 单击“开发API > API管理”,进入到API管理信息页面。 通
-
文件格式介绍 - 数据治理中心 DataArts Studio
hits”,然后在作业第二步添加转换器,操作步骤如下: 单击添加字段,新增一个字段。 图2 添加字段 在添加的新字段后面,单击添加字段转换器。 图3 添加字段转换器 创建“表达式转换”的转换器,表达式输入“1.0”,然后保存。 图4 配置字段转换器 二进制格式 如果想要在文件系统间按原样复制文件,
-
新建DWS连接 - 数据治理中心 DataArts Studio
在管理中心页面,单击“数据连接”,进入数据连接页面并单击“创建数据连接”。 图1 创建数据连接 单击“创建数据连接”,在弹出的页面中,选择“数据连接类型”为“数据仓库服务(DWS)”,并参见表1配置相关参数。 图2 DWS连接配置参数 表1 DWS数据连接 参数 是否必选 说明 数据连接类型
-
数据开发的并行执行节点数是多少? - 数据治理中心 DataArts Studio
Studio实例并行节点数上限 <=500 10 <=5000 50 <=20000 100 <=40000 200 <=80000 300 > 80000 400 图1 配置节点并发数 单击“保存”,完成配置。 查看历史节点并发数 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 选择“节点并发数”。
-
场景介绍 - 数据治理中心 DataArts Studio
HBase表。 迁移的目标集群为2.x及之后版本时,HBase修复命令已经不再支持,通过HBase数据目录迁移的方式无法使用。 迁移方案 图1 迁移方案 H公司的车联网大数据业务平台当前CDH(Cloudera Hadoop) HBase集群中共有854张表约400TB,备HBa
-
指定集群创建作业 - 数据治理中心 DataArts Studio
kafka-connector:Kafka连接。 dis-connector:DIS连接。 elasticsearch-connector:Elasticsearch/云搜索服务连接。 http-connector:HTTP/HTTPS连接,该连接暂无连接参数。 dms-kafka-connector:DMSKafka连接
-
企业模式业务流程 - 数据治理中心 DataArts Studio
企业模式业务流程 当前DataArts Studio企业模式,主要涉及管理中心和数据开发组件,业务流程由管理员、开发者、部署者、运维者等角色共同完成。 图1 企业模式架构 管理员:管理员需要进行准备数据湖、配置数据连接和环境隔离、数据的导入导出、配置项目用户权限等操作。 开发者:开发者需要在数
-
华为数据治理思考 - 数据治理中心 DataArts Studio
业每一笔资金的来源与利用、每一次经营管理决策都必须基于准确的数据分析判断。只有基于准确的数字,才能够帮助企业在激烈的竞争中取得竞争优势。 图1 华为数据治理工作思考 父主题: 华为数据治理案例
-
配置MRS Hetu数据连接 - 数据治理中心 DataArts Studio
登录MRS FusionInsight Manager。 选择“集群 > 服务 > HetuEngine > 配置 > 全部配置”,在右侧搜索“server.port”,获取HSBroker的端口号。 数据源认证及其他功能配置 认证类型 是 使用连接串模式时,是必选项。 访问MRS的认证类型:
-
通知周期概览 - 数据治理中心 DataArts Studio
在数据开发主界面的左侧导航栏,选择“运维调度 > 通知管理”。 在页面右侧的“周期概览”页签,单击“通知配置”,弹出“通知配置”页面,配置如表1所示的参数。 图1 通知配置 表1 通知参数 参数 是否必选 说明 通知名称 是 设置发送的通知名称。 调度周期 是 选择通知发送的调度周期,可以设置为按“天”、“周”或“月”发送。
-
脚本开发流程 - 数据治理中心 DataArts Studio
SQL和Impala SQL脚本可以查看右侧的数据表,单击表名前面的单选框,可以查看该数据的列名、字段类型和描述。 脚本开发的使用流程如下: 图1 脚本开发流程 新建脚本:新建相应类型的脚本。具体请参见新建脚本。 开发脚本:基于新建的脚本,进行脚本的在线开发、调试和执行。具体请参见开发脚本。
-
基线运维约束限制 - 数据治理中心 DataArts Studio
authorization.sqlstd.confwhitelist”添加配置项值“mapreduce.job.priority”即可。 图1 hive.security.authorization.sqlstd.confwhitelist配置 保存并重启Hive服务。 MRS节点优先级功能包含节点:MRS
-
修改作业 - 数据治理中心 DataArts Studio
kafka-connector:Kafka连接。 dis-connector:DIS连接。 elasticsearch-connector:Elasticsearch/云搜索服务连接。 http-connector:HTTP/HTTPS连接,该连接暂无连接参数。 dms-kafka-connector:DMSKafka连接
-
随机集群创建作业并执行 - 数据治理中心 DataArts Studio
kafka-connector:Kafka连接。 dis-connector:DIS连接。 elasticsearch-connector:Elasticsearch/云搜索服务连接。 http-connector:HTTP/HTTPS连接,该连接暂无连接参数。 dms-kafka-connector:DMSKafka连接
-
查找版本信息 - 数据治理中心 DataArts Studio
PublishVersionVO objects 查询到的版本值对象(PublishVersionVO)数组。 total Integer 符合搜索条件的记录总数。 表7 PublishVersionVO 参数 参数类型 描述 id String 版本ID,填写String类型替代Long类型。
-
离散小时调度与作业最近依赖调度逻辑 - 数据治理中心 DataArts Studio
最近的一个实例。 通过图表进一步进行原理解释: “先向前找上游依赖实例,依赖上游一整个区间内的实例” 解释如下: 图1 先向前找上游依赖实例,依赖上游一整个区间内的实例 “向前未找到依赖的实例时,需要向后找,向后查找时,只依赖最近的一个实例” 解释如下: 图2 向前未找到依赖的实