检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,您还必须确保该云服务的实例与DataArts Studio工作空间所属的企业项目必须相同,
搬迁依赖于OBS功能,请您提前规划OBS桶和文件夹目录。 DataArts Studio数据搬迁时,依赖各组件的备份或导入导出能力。您可以根据自己的数据需求,自由选择搬迁哪个组件的数据。 管理中心配置数据搬迁 数据集成配置数据搬迁 数据架构配置数据搬迁 数据开发配置数据搬迁 数据质量配置数据搬迁
选择执行Python语句的主机。需确认该主机配有用于执行Python脚本的环境。 须知: Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本
取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 TSDB_link OpenTSDB链接地址 OpenTSDB的ZK链接地址。 opentsdb-sp8afz7bgbps5ur.cloudtable.com:4242 安全模式 选择安全或非安全模式。
Administrator的系统角色,另外也必须确保DAYU User角色的IAM用户已在对应的DataArts Studio工作空间中被设置为对应的工作空间角色。 如果您只给用户配置了工作空间的角色,则会出现无权限的报错。 解决方案 您需要检查IAM用户所在的用户组是否已经在IAM控制台中被授予DAYU
获取申请详情 功能介绍 获取申请详情。此功能仅用作信息详情展示,不用做业务处理,因此不展示编号等后台参数。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/applys/{apply_id} 表1 路径参数 参数 是否必选 参数类型
"obs:bucket:DeleteDirectColdAccessConfiguration", "obs:object:AbortMultipartUpload", "obs:bucket:PutBucketLogging",
示例场景说明 本示例是一个DataArts Studio全流程入门教程,旨在介绍如何在DataArts Studio平台完成端到端的全流程数据运营。 本案例基于某市的出租车出行数据,选择MRS Hive作为数据湖底座,使用DataArts Studio实施全流程数据治理。期望通过实施数据治理达到以下目标:
search的数据转换pipeline进行数据格式变换。 目的端为Elasticsearch时需要先在kibana中创建管道ID。 目的端为CSS时不需要创建管道ID,此参数填写配置文件名称,默认为name。 目的端为Elasticsearch时:pipeline_id 目的端为
究、国际贸易促进等方面。 在这之前,H公司采用其自建的大数据集群,并安排专人维护,每年固定购买电信联通双线专用带宽,在机房、电力、专网、服务器、运维方面进行高额投入,但其在面对客户不断变化的业务诉求时,因为人员投入不足,大数据集群能力不匹配,而无法聚焦业务创新,使得存量100T的数据只有4%的利用率。
配置开发生产环境隔离 配置两套数据湖服务,进行开发与生产环境隔离。 对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS等),DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的数据湖。
调度,具体请参见配置节点调度任务(实时作业)。 模式 Pipeline:即传统的流水线式作业,作业通过画布编辑,可以拖入一个或多个节点组成作业,各节点依次被流水线式地执行。 说明: 在企业模式下,实时处理作业类型不支持Pipeline模式,仅支持单任务模式。 单任务:单任务作业可
工作流默认按照JSON字符串格式输出结果,支持将已映射的结果集数据导出为CSV、TXT、Excel或XML文件,一个数据集一个文件,最终打包成ZIP压缩文件进行导出。 注意导出时不支持断点续传。 父主题: 编排API
数据库、数据仓库、数据湖与华为智能数据湖方案 CDM与其他数据迁移服务有什么区别,如何选择? DataArts Studio是否支持私有化部署到本地或私有云? 如何选择DataArts Studio版本 可以免费试用DataArts Studio吗? 免费试用即将到期,如何续费? DataArts Studio是否支持版本升级?
在弹出的导出窗口中,确认选择无误后单击“导出”,导出规则模板。 图2 规则模板导出确认 导出成功后,在导出记录中单击“下载”,即可通过浏览器下载地址,获取到导出的xlsx文件。 图3 获取规则模板导出结果 导出质量作业 单击左侧导航上的“质量作业”,进入质量作业列表。 在质量作业列表,
数据迁移 数据迁移进阶实践 本最佳实践提供了数据集成CDM组件的高阶使用技巧,例如如何实现增量迁移、时间宏变量表达式写法等。 数据开发 数据开发进阶实践 本最佳实践提供了数据开发DLF组件的高阶使用技巧,例如如何使用IF条件判断、For Each节点使用等。 DataArts Studio+X
定义DDL消息处理策略 来源数据源会包含许多DDL操作,进行实时同步时,您可以根据业务需求,对不同的DDL消息设置同步至目标端的处理策略。 实时同步任务运维 支持对同步任务设置监控报警。 基本特性 实时处理集成作业为大数据开发提供了支撑,具有以下特性: 实时性:支持数据秒级迁移。 可
在“空间权限集”页面单击“新建”,创建权限集。 图1 创建空间权限集 新建空间权限集配置请参考表1,参数配置完成单击“确定”即可。 表1 新建空间权限集参数设置 参数名 参数设置 *权限集名称 标识权限集,实例下唯一。 建议名称中包含含义,避免无意义的描述,以便于快速识别所需权限集。 *管理员 选择管理员。
才需要配置。 设置通知发送的具体日期。 当调度周期为周时,可设置为一周中星期一至星期日的某一天或某几天。 当调度周期为月时,可设置为一月中每月1号至每月31号的某一天或某几天。 具体时间 是 设置通知发送的具体时间点,可以精确设置到小时和分钟。 选择主题 是 设置通知发送的主题。
h、header、query、body等。 说明: 如果自行对接了第三方网关等,请求地址和数据服务展示的地址不一致,需要在请求头中补充参数x-forwarded-host,值为签名时使用的请求地址。 如果使用get请求,不要定义body体。 DLG.0902 Fail to call