检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 2019-07-30 00:00:00 创建快照 如果选择“是”,CDM读取HDFS系统上的文件时,会先对待迁移的源目录创建快照(不
Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 2019-07-30 00:00:00 创建快照 如果选择“是”,CDM读取HDFS系统上的文件时,会先对待迁移的源目录创建快照(不
制格式存储的,CDM会无法解析。 从HBase/CloudTable导出数据时,由于HBase/CloudTable是无Schema的存储系统,CDM要求源端数值型字段是以字符串格式存储,而不能是二进制格式,例如数值100需存储格式是字符串“100”,不能是二进制“01100100”。
脚本开发”。 右键单击脚本,选择“新建Flink SQL脚本”进入。 单击右侧的“模板”,选择刚才创建好的脚本模板,例如412_mobna,系统支持可以引用多个模板。 图1 引用脚本模板 脚本创建完成后,单击“保存”,脚本412_test创建完成。 在pipeline作业开发中,MRS
CDM还提供了REST API,支持第三方系统调用和集成。 实时监控 需要自行选型开发。 您可以使用云监控服务监控您的CDM集群,执行自动实时监控、告警和通知操作,帮助您更好地了解CDM集群的各项性能指标。 免运维 需要自行开发完善运维功能,自行保证系统可用性,尤其是告警及通知功能,否则只能人工值守。
Studio权限管理。 图1 权限体系 若您需要对除DataArts Studio之外的其它服务授权,IAM支持服务的所有权限请参见系统权限。 约束与限制 DAYU User系统角色为用户提供了实例及工作空间和依赖服务的相关权限,具体工作空间内的业务操作权限由工作空间角色提供。 IAM提供了以下两种授权机制。注意,DataArts
密级名称只能包含中文、英文字母、数字和下划线,创建完成后不支持“编辑”操作。 密级描述 密级描述支持所有字符输入,创建完成后支持通过“编辑”操作修改。 新建密级时,系统默认按照安全程度由低到高的顺序依次创建。您可以在密级建立好后,按照安全程度高低,通过“上移”、“下移”操作来调整密级顺序。 配置默认密级 如果您需要统一为MRS
下载事实表导入模板,编辑完成后保存至本地。 选择是否更新已有数据。 如果系统中已有的编码和模板中的编码相同,系统则认为是数据重复。 不更新:当数据重复时,不会替换系统中原有的数据。 更新:当数据重复时 系统中的原有数据为草稿状态,则会覆盖生成新的草稿数据。 系统中的原有数据为发布状态,则会生成下展数据。 单
Studio权限管理。 图1 权限体系 若您需要对除DataArts Studio之外的其它服务授权,IAM支持服务的所有权限请参见系统权限。 约束与限制 DAYU User系统角色为用户提供了实例及工作空间和依赖服务的相关权限,具体工作空间内的业务操作权限由工作空间角色提供。 IAM提供了以下两种授权机制。注意,DataArts
获取SDK包 在数据服务页面,单击左侧导航栏的“SDK”,然后下载Java SDK。 图3 下载SDK 进行SDK包完整性校验。Windows操作系统下,打开本地命令提示符框,输入如下命令,在本地生成已下载SDK包的SHA256值,其中,“D:\java-sdk.zip”为SDK包的本
在数据服务页面,单击左侧导航栏的“SDK”,然后下载JavaScript SDK。 图3 下载JavaScript SDK 进行SDK包完整性校验。Windows操作系统下,打开本地命令提示符框,输入如下命令,在本地生成已下载SDK包的SHA256值,其中,“D:\javascript-sdk.zip”为
为有数据资产入表需求的国有企业和上市公司提供参考。 第一步:入表形成原始资产 原始资产入表是将指系统建设及数据生成等所产生的成本费用以成本法入表,据此构成数据资源的初始资产价格。 系统建设是数据资产入表的前置条件。企业需要完成基础信息化建设,并对企业数据治理程度和数据管理能力做必
任务日调度数:按照当天调度成功的节点进行统计,不区分实时任务和离线任务。 系统默认查看一个月内的任务日调度数和作业数,支持通过时间段筛选进行查看。 任务类型分布 可以直观地查看作业的任务节点类型分布图及数量。 任务表示作业中的算子。 系统会统计已提交的所有作业节点数,含实时作业和批处理作业。 实例运行时长top100
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 TBL_E 使用SQL语句 “读取方式”选择“JDBC”时显示此参数。
详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 TBL_E 读取方式 包括HDFS和
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
数据运营效率低,业务环境的快速变化带来大量多样化的数据分析报表需求,因为缺乏高效的数据运营工具平台,数据开发周期长、效率低,不能满足业务运营决策人员的诉求。 数据运营成本高,数据未服务化,导致数据复制多、数据口径不一致,同时数据重复开发,造成资源浪费。 数据创新的挑战 企业内部存在大量数据孤岛,导致数据不共享、
详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 TBL_E 高级属性 Where子句
超时重试 最大重试次数 重试间隔时间(秒) 否:默认值,不重新执行节点。 说明: 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。 当节点运行超时导致的失败不会重试时,您可前往“默认项设置”修改此策略。 当“失败重试”配置为“是”才显示“超时重试”。 当前节点失败后,后续节点处理策略