检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
339，精确到秒，UTC时区，即yyyy-mm-ddTHH:MM:SSZ，如1970-01-01T00:00:00Z。 end_time 否 String 时间过滤右边界，与begin_time一起使用只支持时间范围过滤，单边过滤无效。格式遵循RFC3339，精确到秒，UTC时区
总条数计算脚本SQL。 表8 ApiRequestPara 参数 参数类型 描述 name String 参数名称。 mapping String 映射字段。 condition String 操作符。 枚举值： CONDITION_TYPE_EQ：等于 CONDITION_TYPE_NE：不等于
文件加密 在迁移文件到文件系统时，数据集成支持对写入云端的文件进行加密。 MD5校验一致性 支持使用MD5校验，检查端到端文件的一致性，并输出校验结果。 脏数据归档 支持将迁移过程中处理失败的、被清洗过滤掉的、不符合字段转换或者不符合清洗规则的数据自动归档到脏数据日志中，方便用户
SQL脚本构建一个周期执行的作业，使得该脚本能定期执行。 创建一个批处理作业，作业名称为“job_dws_sql”。 然后进入到作业开发页面，拖动DWS SQL节点到画布中并单击，配置节点的属性。 图2 配置DWS SQL节点属性 关键属性说明： SQL脚本：关联开发DWS SQL脚本中开发完成的DWS
f6：表示cdm.small规格，2核CPU、4G内存的虚拟机。适合PoC验证和开发测试。 fb8fe666-6734-4b11-bc6c-43d11db3c745：表示cdm.medium规格，4核CPU、8G内存的虚拟机适合单张表规模<1000万条的场景。 5ddb1071-
户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统，虚拟防火墙、API网关和高级安全服务，各项云服务，租户数据，以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮
339，精确到秒，UTC时区，即yyyy-mm-ddTHH:MM:SSZ，如1970-01-01T00:00:00Z。 end_time 否 String 时间过滤右边界，与begin_time一起使用只支持时间范围过滤，单边过滤无效。格式遵循RFC3339，精确到秒，UTC时区
文件格式问题解决方法 CSV格式 如果想要读取或写入某个CSV文件，请在选择“文件格式”的时候选择“CSV格式”。CSV格式的主要有以下使用场景： 文件导入到数据库、NoSQL。 数据库、NoSQL导出到文件。 选择了CSV格式后，通常还可以配置以下可选子参数： 1.换行符 2.字段分隔符 3.编码类型
文件格式问题解决方法 CSV格式 如果想要读取或写入某个CSV文件，请在选择“文件格式”的时候选择“CSV格式”。CSV格式的主要有以下使用场景： 文件导入到数据库、NoSQL。 数据库、NoSQL导出到文件。 选择了CSV格式后，通常还可以配置以下可选子参数： 1.换行符 2.字段分隔符 3.编码类型
租户下的一个VPC互联互通。若未开通企业路由器请参考同区域VPC互通方案概述和共享企业路由器进行配置。 准备工作 查询打通网络过程中所涉及到对象的网段（包含数据源、中转VPC、资源组），为便于理解，本章节将举例为您进行介绍。 表1 资源网段规划 资源名称 说明 私网网段示例 数据源网段
DISTRIBUTE BY [HASH(column)|REPLICATION]。 枚举值： HASH: 对指定的列进行Hash，通过映射，把数据分布到指定DN REPLICATION: 表的每一行存在所有数据节点（DN）中，即每个数据节点都有完整的表数据 distribute_column
后重新新建一个开启“公网入口”的数据服务专享版集群，再将旧集群的API导入到新集群上，即可开启公网访问。 另外，如果您已有开启公网入口的APIG专享版或ROMA Connect实例，也可以选择将API发布到APIG专享版或ROMA Connect实例上，通过APIG专享版或ROMA
节点名称，可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。 服务 是 选择需要开机/关机的服务： ECS CDM 开关机设置 是 选择开关机类型： 开 关 开关机对象 是 选择需要开机/关机的具体对象，例如开启某个CDM集群。 表2 高级参数
相关文档 关系型数据 MySQL Hadoop：MRS Hudi MySQL同步到MRS Hudi作业配置 消息系统：DMS Kafka MySQL同步到Kafka作业配置 数据仓库：DWS MySQL同步到DWS作业配置 SQLServer Hadoop：MRS Hudi 说明：
表7 ApiRequestPara 参数 是否必选 参数类型 描述 name 否 String 参数名称。 mapping 否 String 映射字段。 condition 否 String 操作符。 枚举值： CONDITION_TYPE_EQ：等于 CONDITION_TYPE_NE：不等于
PS连接，该连接暂无连接参数。 dms-kafka-connector：DMSKafka连接。 name String 作业名称，长度在1到240个字符之间。 from-link-name String 源连接名称，即为通过“创建连接”接口创建的连接对应的连接名。 creation-user
目前数据集成集群支持以下部分规格供用户选择： cdm.large：大规格，8核CPU、16G内存的虚拟机，最大带宽/基准带宽为3/0.8 Gbps，集群作业并发数上限为16。 cdm.xlarge：超大规格，16核CPU、32G内存的虚拟机，最大带宽/基准带宽为10/4 Gbps，集群作业并发数上限为32，适
您可以将相关API绑定到该策略，以实现流量控制。 绑定API 在DataArts Studio控制台首页，选择对应工作空间的“数据服务”模块，进入数据服务页面。 在左侧导航栏选择服务版本（例如：专享版），进入总览页。 单击“运营管理 > 流控策略”，进入到流量控制信息页面。 通过
创建一个数据开发批处理作业，作业名称为“BI_analysis”。 图7 新建作业 图8 配置作业 然后进入到作业开发页面，拖动两个Dummy节点和两个DLI SQL节点到画布中，选中连线图标并拖动，编排图9所示的作业。 图9 连接和配置节点属性 关键节点说明： Begin（Du
据（点数据集、边数据集和元数据）定期导入到GES服务中，在GES中对最新数据进行可视化图形分析。 场景说明 本案例基于某电影网站的用户和评分数据，使用DataArts Studio将MySQL原始数据处理为标准点数据集和边数据集，并同步到OBS和MRS Hive中，然后通过Import
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
