检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
约束与限制 CDM系统级限制和约束 DataArts Studio实例赠送的数据集成集群,由于规格限制,仅用于测试业务、数据连接代理场景。 用于运行数据迁移作业的其他规格CDM集群可以在DataArts Studio控制台以增量包的形式购买,也可以在云数据迁移CDM服务控制台直接购买。二者差异体现在如下方面:
IAM认证方式的API只能授权给IAM类型的应用。 如果对无认证方式的API进行应用授权,则系统会忽略此操作。 IAM类型的应用每个DataArts Studio实例下仅能创建一个,名称固定为华为账号,且不支持修改。 对于数据服务共享版IAM认证方式的API,系统已默认记录了当前账号的白名单,不支持删除,因此共享版I
参数 说明 取值样例 基本参数 DIS通道 DIS的通道名。 dis 是否持久运行 用户自定义是否永久运行。设置为长久运行的任务,如果DIS系统发生中断,任务也会失败结束。 是 DIS分区ID DIS分区ID,该参数支持输入多个分区ID,使用英文逗号(,)分隔。 0,1,2 偏移量参数
中定义的策略。 在左侧导航窗格中,单击“委托”,选择对应的委托,单击“授权”,将创建的自定义策略添加到该委托,单击“确定”。 当前用户退出系统,重新登录后,即可正常获取委托列表。 父主题: 数据开发
对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为
characters in position 63-64 : ordinal not in range ( 128 )”怎么处理? 查看日志时,系统提示“OBS日志文件不存在,请检查文件是否被删除或者没有OBS写入权限。”怎么办? Shell/Python节点执行失败,后台报错session
Studio采用基础包+增量包的计费模式。为了便于您便捷的下单购买,在控制台购买界面中系统会为您计算好所购买的套餐包的价格,您可一键完成整个配置的购买。 计费方式 计费说明 04 使用 指导您快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据标准,加快数据变现,实现数字化转型。 购买并配置DataArts
勾选所有服务并单击“同意授权”,系统会在IAM服务自动创建dlg_agency默认委托。 完成了委托授权后,下次再进入DataArts Studio控制台首页时,系统不会再弹出访问授权的对话框。 如果您只勾选了其中的某几个服务进行委托授权,下次进入DataArts Studio控制台首页时,系统仍会弹出
详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 cdm 自动创表 是否自动创建Hudi表。
resources 否 Array of longs 资源ID数组。 export_mode 否 String 导出模式,null表示导出到本地文件系统,obs表示导出至obs,仅限于导出质量报告使用。 obs_service_type 否 String 业务类型,technology表示
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
catalog"={{custom_class}},在提交作业之后进行变量替换。 说明: Spark作业不支持自定义设置jvm垃圾回收算法。 Module名称 否 DLI系统提供的用于执行跨源作业的依赖模块,访问各个不同的服务,选择不同的模块: CloudTable/MRS HBase: sys.datasource
录。 在过滤框中选择“脚本”,展示历史7天的脚本运行记录。 单击某一条运行记录,可查看当时的脚本信息和运行结果。 下载脚本历史运行结果。 系统默认支持所有用户都能下载脚本的历史运行结果。 您可以在结果页签单击“下载结果”。 支持将CSV格式的结果文件下载到本地。查询结果和下载结果最大支持1000条。
详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 table 导入开始前 导入数据前,选择是否清除目的表的数据:
详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 是 index_sample 类型
户开放使用。 背景 为了满足用户实际业务场景需求,现将数据架构的指标管理与数仓分层进行独立管理,从而降低指标管理的使用门槛,帮助用户把指标系统快速使用起来。 数据指标的指标设计和指标开发功能,均继承了数据架构的流程设计和技术指标的功能。数据架构这两块功能即将下架,建议您后续使用数据指标组件相关功能。
OBS路径不合法。 请检查OBS路径。 400 DLF.0810 The queried task does not exist. 查询的系统任务不存在。 请检查系统任务。 400 DLF.0815 The OBS file fails to be accessed. 读取OBS文件失败。 请检查OBS文件。
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
勾选所有服务并单击“同意授权”,系统会在IAM服务自动创建dlg_agency默认委托。 完成了委托授权后,下次再进入DataArts Studio控制台首页时,系统不会再弹出访问授权的对话框。 如果您只勾选了其中的某几个服务进行委托授权,下次进入DataArts Studio控制台首页时,系统仍会弹出
不同模式工作空间对生产任务开发与运维的影响 对比 简单模式 企业模式(推荐) 生产任务开发流程管控差异 任务提交后,无需发布,即可进入调度系统周期性执行,产出结果数据。 (提交-->生产) 任务需要先提交至开发环境,再执行发布操作,将任务发布至生产环境,才可以自动调度运行任务。 (提交-->发布-->生产)