检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
动态数据脱敏接口 查询动态数据脱敏策略列表 创建数据脱敏策略 查询某个脱敏策略的详细信息 更新动态数据脱敏策略 批量删除动态脱敏策略 父主题: 数据安全API
汇总表接口 查找汇总表 新建汇总表 更新汇总表 删除汇总表 查看汇总表详情 父主题: 数据架构API
业务指标接口 查询业务指标信息 创建业务指标 更新业务指标 删除业务指标 查看指标详情 查看指标维度信息 查看指标责任人信息 获取指标关联信息 父主题: 数据架构API
自定义项接口 查询自定义项 修改自定义项 父主题: 数据架构API
为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 在创建CDM表/文件迁移的作业,源连接选择为MongoDB连接或者DDS连接时,高级属性的可选参数中可以配置查询筛选。 图1 MongoDB查询筛选 此参数支持配置为时间宏变量,例如起始时间配置为
数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 在创建CDM表/文件迁移的作业,源连接选择为HBase连接或CloudTable连接时,高级属性的可选参数中可以配置时间区间。 图1 HBase时间区间 起始时间(包含该值),格式为“yyyy-MM-dd
SDK使用前准备 下载SDK,并导入对应SDK到本地开发工具。 登录DataArts Studio控制台。 单击“数据服务”模块。 单击左侧菜单“共享版 > SDK”或“专享版 > SDK”。 单击SDK使用引导区域里对应语言的SDK,下载SDK包到本地。 进行SDK包完整性校验
Studio是否支持版本升级? 支持。如果您的业务量不断增长,已购版本无法满足您的业务需求,建议您升级版本。 您可以登录DataArts Studio控制台,找到需要升级的DataArts Studio实例卡片,单击“升级”,然后根据页面提示购买更高规格的套餐。 升级时,已经产生的费用按天结算。 升级成功后,按新订购套餐进行计费。
本实践通过DataArts Studio服务的数据开发DLF组件和数据湖探索服务(DLI)对某电商商城的用户、商品、评论数据(脱敏后)进行分析,输出用户和商品的各种数据特征,可为营销决策、广告推荐、信用评级、品牌监控、用户行为预测提供高质量的信息。在此期间,您可以学习到数据开发模块脚本编辑、作业编辑、作
单击“下一步”,依次配置告警、订阅、调度等信息。配置质量作业的详细操作请参见新建质量作业。 单击“提交”。数据质量作业配置完成。 配置数据开发作业 登录DataArts Studio控制台。选择实例,单击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发
Hive、DLI、DWS等,除此之外也支持采集以下数据源的元数据: 关系型数据库,如MySQL/PostgreSQL等(可使用RDS类型连接,采集其元数据) 云搜索服务CSS 图引擎服务GES 对象存储服务OBS MRS Hudi组件(MRS Hudi作为一种数据格式,元数据存
I等)的安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书 另外,华为云还提供了以下销售许可证及软件著作权证书,供用户下载和参考。具体请查看合规资质证书。
问题描述 数据开发中,该模块支持创建作业数量和作业中的节点数是否有限制。 解决方案 目前默认每个用户最多可以创建10000个作业,每个作业建议最多包含200个节点。 另外,系统支持用户根据实际需求调整最大配额。如有需求,请提交工单进行申请。 父主题: 数据开发
这是因为未对数据表更新方式做配置,此选项默认为“不更新”。 配置数据表更新方式操作如下: 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据架构”模块,进入数据架构页面。 在数据架构控制台,单击左侧导航树中的“配置中心”。 单击“功能配置”页签。
单击“运行结果”,查看具体的指标监控情况。 图8 运行结果 业务场景的运行结果说明如下: 正常:表示实例正常结束,且执行结果符合预期。 告警:表示实例正常结束,但执行结果不符合预期。 异常:表示实例未正常结束。 --:表示实例正在运行中,无执行结果。 父主题: 企业版:基于MRS Hive的出租车出行数据治理流程
创建CDM迁移作业 登录控制台,选择实例,单击“进入控制台”,单击相应工作空间后的“数据集成”。 在集群管理页面,单击集群操作列“作业管理”,进入“作业管理”页面,如图1所示。 图1 集群管理 在“连接管理”页签中,单击“新建连接”,分别创建Oracle数据连接和MRS Hive数据连接,详情
writeToLink 否 String 脏数据要写入的连接,目前只支持写入到OBS连接或HDFS连接。例如:“obslink”。 throttlingConfig.obsBucket 否 String 写入脏数据的OBS桶的名称,只有当脏数据要写入OBS连接的时候,此参数才生效。例如:“dirtyData”。
II编码不能编码汉字所以报错。因此需要将编码格式转化为“utf8”。 解决方法 用python3解释器,在主机上做一个软连接,如下图所示。 图2 主机上做软连接 在文件中设置标准编码方式。 # -*- coding: utf-8 -*-;或者设置主机的编码格式:在python安装
public_dimension 公共维度 public_dimension 图3 主题设计 操作步骤如下: 登录DataArts Studio控制台。找到已创建的DataArts Studio实例,单击实例卡片上的“进入控制台”。 在工作空间概览列表中,找到所需要的工作空间,单击“数据架构”,进入数据架构控制台。
化文本,由于字段值也包含了分隔符,所以无法使用分隔符进行字段分隔,此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置,要求源连接为对象存储或者文件系统,且“文件格式”必须选择“CSV格式”。 图1 正则表达式参数 在迁移CSV格式的文件时,CDM支持使用正则表达式分