检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDM集群作为管理中心数据连接Agent时,单集群的并发活动线程最大为200。即当多个数据连接共用同一Agent时,通过这些数据连接提交SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200,超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 数据源认证及其他功能配置
置同步。 导入脚本、作业、环境变量、资源功能部分依赖于OBS服务。 旧空间导出数据 请您登录控制台首页,选择并进入旧工作空间的“数据开发”模块,然后执行如下操作依次导出脚本、导出作业、导出环境变量、导出资源。 导出脚本 在数据开发主界面,单击左侧导航上的“脚本开发”,进入脚本目录。
Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“管理中心”模块,进入管理中心页面。 在管理中心页面,单击“数据连接”,进入数据连接页面并单击“创建数据连接”。 图1 创建数据连接 单击“创建数据连接”
I则必须先通过应用或白名单授权才能调用。 创建IAM类型的应用 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏选择服务版本(例如:专享版),进入总览页。 单击“调用API > 应用管理”,进入到应用管理页面。单击“
选择全部,单击右键,可新建目录、重命名目录和删除目录。 新建规则 在DataArts Studio控制台首页,选择对应工作空间的“数据质量”模块,进入数据质量页面。 选择“业务指标监控 > 规则管理”。 单击“新建”,在弹出的对话框中,参见表2配置相关参数,新建规则。 表2 配置业务规则参数
处理,建议至少每月进行一次扫描,以保障数据使用过程的安全可靠。 在DataArts Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。 单击左侧导航树中的“数据安全诊断”,进入数据安全诊断页面。 图2 数据安全诊断 根据需要,选择敏感数据保护、数据权限
CDM集群作为管理中心数据连接Agent时,单集群的并发活动线程最大为200。即当多个数据连接共用同一Agent时,通过这些数据连接提交SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200,超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 Impalad
请求。 主机连接 通过主机连接,用户可以在DataArts Studio数据开发中连接到指定的主机,通过脚本开发和作业开发在主机上执行Shell或Python脚本。主机连接保存连接某个主机的连接信息,当主机的连接信息有变化时,只需在主机连接管理中编辑修改,而不需要到具体的脚本或作业中逐一修改。
当源端数据为OBS类型时,支持的目的端数据类型为DLI、DWS。 须知: DLI到DWS端的数据转换: 因为数据开发模块调用DWS的集群时,需要走网络代理。所以导入数据到DWS时,需要提前先在数据开发模块中创建DWS的数据连接。 DLI导入数据到DWS时,DWS的表需要先创建好。 DLI到CSS、CloudTable端的数据转换:
Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。单击“默认项设置”,设置“作业告警通知主题”配置项。按责任
CSV文件字段数量至多为500 CSV文件大小限制为1G 创建文件敏感数据检测任务 在DataArts Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。 单击左侧导航树中的“敏感数据发现”,在敏感数据发现页面选择“文件敏感数据检测”,进入文件敏感数据检测页签。 图1 文件敏感数据检测页面
Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 在作业目录中,右键单击目录名称,选择“新建目录”。
每日导出到表中,以支撑信息分析。 分析10大用户关注最多的产品 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 创建一个DLI SQL脚本,以通过DLI SQL语句来创建数据表。 图1 新建脚本 在新建脚本弹出的SQL编辑器中输
的文件。导入作业时,导出的单元格内容最大长度支持65534个字符。 旧空间导出数据 请您登录控制台首页,选择并进入旧工作空间的“数据质量”模块,然后执行如下操作依次导出规则模板、导出质量作业、导出对账作业。 导出规则模板 在数据质量主界面,单击左侧导航上的“规则模板”,进入规则模板列表。
Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 在脚本开发导航栏,选择,展开DWS数据连接,选择需配
Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据架构”模块,进入数据架构页面。 在数据架构控制台,单击左侧导航树中的“配置中心”,进入相应页面后,选择“审核人管理”页签。 在“审核人管理”页面,单击“添加”按钮。
当前暂不支持在表权限视图页面直接对权限进行配置、回收。 查看表权限的拥有者 在DataArts Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。 单击左侧导航树中的“表权限视图”,进入表权限视图页面。 图1 表权限视图 在表权限视图页面,您可以通过切换页签,查看表权限的不同拥有对象:
Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“运维调度 > 作业监控”。 单击“批作业监控”页签,进入批作业的监控页面。 单击
用户在配置中心打开了“表别名”时显示此项,名称别名。 表级标签 给表添加的标签,请输入已有的标签或新的标签名称。您也可以先前往DataArts Studio数据目录模块的“标签管理”页面添加标签,然后再回到此处设置相应的标签。添加标签的具体操作,请参见管理资产标签。 *描述 表的描述信息。 资产责任人 需输入DataArts
Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 选择“节点并发数”。 配置工作空间的节点并发数,工作空间的节点并发数不能大于DataArts