检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
展开描述。 至此,基于电商BI报表的数据开发流程示例完成。此外,您还可以根据原始BI报表数据,分析用户的年龄分布、性别比例、商品评价情况、购买情况、浏览情况等,为营销决策、广告推荐、信用评级、品牌监控、用户行为预测等提供高质量的信息。 父主题: 免费版:基于DLI的电商BI报表数据开发流程
根据业务实际情况估算DRS作业迁移到Migration后,Migration大概需要多少资源承载新作业,规划作业的拆分和创建。资源不够的情况下请购买新资源组。 资源估算维度包括: DRS任务表数量 进入DRS任务,查看同步映射可以看到表数量。Migration单个作业表数量配置在50张以内性能最佳。
连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 sql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。
ttp是80。 443 OBS桶类型 用户下拉选择即可,一般选择为“对象存储”。 对象存储 访问标识(AK) AK和SK分别为登录OBS服务器的访问标识与密钥。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。
当使用AK/SK方式认证时,使用SDK对请求进行签名的过程中会自动填充该字段。 使用AK/SK认证时必选。 20150907T101459Z Host 请求的服务器信息,从服务API的URL中获取。值为hostname[:port]。端口缺省时使用默认的端口,https的默认端口为443。 使用AK/SK认证时必选。
连接器类型选择“对象存储服务(OBS)”后,单击“下一步”配置OBS连接参数,如图5所示。 名称:用户自定义连接名称,例如“obslink”。 OBS服务器、端口:配置为OBS实际的地址信息。 访问标识(AK)、密钥(SK):登录OBS的AK、SK。 您可以通过如下方式获取访问密钥。 登录控制
组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 如果目标数据源为云上服务(如DWS、MRS及ECS等),则网络互通需满足如下条件: CDM集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群
资源组为私网网段,不能与数据源网段重叠,否则会导致网络无法打通。 资源组不具有公网网段,因此本方案仅能与数据源的私网连通。 前提条件 已购买资源组,详情请参见购买数据集成资源组。 已创建对等连接使数据源所在租户下的数据源VPC与当前租户下的一个VPC互联互通。若未创建对等连接请参考创建不同账户下的对等连接进行配置。
配置SQLServer源端参数 支持从云端的数据库服务导出数据。 这些非云服务的数据库,既可以是用户在本地数据中心自建的数据库,也可以是用户在ECS上部署的,还可以是第三方云上的数据库服务。 表1 SQLServer作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句
配置Redis源端参数 第三方云的Redis服务无法支持作为源端。如果是用户在本地数据中心或ECS上自行搭建的Redis支持作为源端或目的端。 作业中源连接为从本地Redis导出的数据时,源端作业参数如表1所示。 表1 Redis作为源端时的作业参数 参数类型 参数名 说明 取值样例
配置PostgreSQL源端参数 支持从云端的数据库服务导出数据。 这些非云服务的数据库,既可以是用户在本地数据中心自建的数据库,也可以是用户在ECS上部署的,还可以是第三方云上的数据库服务。 表1 PostgreSQL作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句
jar格式驱动。 前提条件 已创建集群。 已参见表1下载对应的驱动。 已参见FTP/SFTP连接参数说明创建SFTP连接并将对应的驱动上传至线下文件服务器(可选)。 如何获取驱动 不同类型的关系数据库,需要适配不同类型的驱动。注意,上传的驱动版本不必与待连接的数据库版本相匹配,直接参考表1获取建议版本的JDK8
MySQL数据库连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 mysql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的MySQL数据库实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。
创建数据连接,详情请参见配置DataArts Studio数据连接参数进行配置。 无可选资源组时,可单击“新建”跳转至购买资源组页面创建资源组配置,详情请参见购买创建数据集成资源组增量包进行配置。 检测网络连通性:数据连接和资源组配置完成后需要测试整个迁移任务的网络连通性,可通过
default"队列性能展示”。 还未选择资源队列时,图标灰化不可查看队列性能。 如需新建资源队列,请参考以下方法: 单击,进入DLI的“购买队列”页面新建资源队列。 前往DLI管理控制台进行新建。 说明: DLI提供默认资源队列“default”,仅用于用户体验,用户间可能会出
访问标识(AK) 是 “数据集成”参数开启时并且“OBS支持”设置为“是”、使用委托为否时,呈现此参数。 AK和SK分别为登录OBS服务器的访问标识与密钥。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。
REBOOT_FAILURE:重启失败。 type String 节点类型,只支持一种类型“cdm”。 id String 节点的虚拟机ID。 name String 节点的虚拟机名称。 isFrozen String 节点是否冻结:0:否。1:是。 components String 组件。 config_status
创建数据连接,详情请参见配置DataArts Studio数据连接参数进行配置。 无可选资源组时,可单击“新建”跳转至购买资源组页面创建资源组配置,详情请参见购买创建数据集成资源组增量包进行配置。 检测网络连通性:数据连接和资源组配置完成后需要测试整个迁移任务的网络连通性,可通过
创建数据连接,详情请参见配置DataArts Studio数据连接参数进行配置。 无可选资源组时,可单击“新建”跳转至购买资源组页面创建资源组配置,详情请参见购买创建数据集成资源组增量包进行配置。 检测网络连通性:数据连接和资源组配置完成后需要测试整个迁移任务的网络连通性,可通过
REBOOT_FAILURE:重启失败。 type String 节点类型,只支持一种类型“cdm”。 id String 节点的虚拟机ID。 name String 节点的虚拟机名称。 isFrozen String 节点是否冻结:0:否。1:是。 components String 组件。 config_status