检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
迁移准备 前提条件 CDH HBase的版本号小于或等于MRS HBase的版本号。 待迁移的表在迁移过程中不能有写入,Split,Merge等操作。 使用华为云专线搭建CDH集群与华为云VPC之间的专属连接通道。 迁移流程 预估迁移数据量、迁移时间。 输出详细待迁移数据表、文件个数、大小,用于后续校验。
时,可配置编码格式。 utf8 驱动版本 CDM连接关系数据库前,需要先上传所需关系数据库的JDK8版本.jar格式驱动。MySQL的驱动请从https://downloads.mysql.com/archives/c-j/选择5.1.48版本下载,从中获取mysql-connector-java-5
可以包含字母、数字、中划线或者下划线,不能包含其他的特殊字符。输入长度不能小于5个字符。 集群描述 可以自定义对当前数据服务专享版集群的描述。 版本 当前数据服务专享版的集群版本。 集群规格 不同实例规格,对API数量的支持能力不同。 公网入口 开启“公网入口”,创建集群时会为集群自动绑定一个新建的弹
数据库版本相匹配,直接参考表1获取建议版本的JDK8 .jar格式驱动即可。 表1 获取驱动 关系数据库类型 驱动名称 获取地址 建议版本 云数据库 MySQL MySQL MYSQL https://downloads.mysql.com/archives/c-j/ 5.1.4
Cassandra连接参数说明 2.9.3.300以上版本不支持Cassandra。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 Cassandra连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接
SQL作业独立配置需要的资源(例如线程、内存、CPU核数并指定MRS资源队列等)。代理连接时不支持配置。 若集群为MRS 1.8.7版本或MRS 2.0.1之后版本,需要配置此参数。 MRS SparkSQL作业的运行程序参数,请参见《MapReduce用户指南》中的“运行SparkSql作业
管理员导入作业时,选择导入生产态,则不会生成待发布项。 开发者创建单任务的实时作业后,提交版本时,只生成当前作业的待发布项,不会生成子作业的待发布项。 前提条件 已提交版本,详情请参见提交版本。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
单击“发布”,在提交发布对话框中,选择发布的版本类型,重新设置版本名称,并确认发布。 发布新版本时,需要修改版本名称。 发布当前版本时,可以不修改版本名称,之前老的版本会自动生成为历史版本。 图6 发布新版本 提交发布后,单击操作列的“发布历史”,可以查看该规则模板的发布记录,支持查看版本变化信息、修改版本名称、下线对应版本等。
os加密类型”应为“aes256-sha1,aes128-sha1”。 说明: 仅支持连接MRS 3.1.1及以上版本的MRS集群。 若需要连接MRS 3.2.1版本集群,则需通过HetuEngine WebUI界面,给计算实例添加如下自定义参数:参数名为“protocol.v1
数据集成配置 Hive版本 HIVE_3_X 适用组件勾选数据集成后,呈现此参数。 Hive的版本。根据服务端Hive版本设置。 说明: HIVE_3_X支持Hive服务端版本为3.x的连接,HIVE_2_X支持Hive服务端版本为2.x的连接。使用不匹配的连接版本,测试连接有可能正
)。 数据安全敏感数据发现中基于入湖检测规则的推荐识别,详见基于入湖检测规则识别敏感信息。 在新版本模式下仅当使用企业版时,才支持配置数据入湖检测规则。旧版本模式使用基础版及更高版本时即可支持。 前提条件 识别规则创建完成,请参考定义识别规则(部分高级特性)。 约束与限制 数据集
SIMPLE:非安全模式选择Simple鉴权。 KERBEROS:安全模式选择Kerberos鉴权。 MRS版本 否 使用连接串模式时,是必选项。 选择MRS集群的版本。 组件名 否 使用连接串模式时,是必选项。 选择Spark组件的版本。 用户名 是 MRS集群的人机用户,通过代理连接时是必选项。如果使用新建的
com/archives/c-j/,建议5.1.48版本及以上版本,如果低于5.1.48版本则连接会报错“The db user or password invalid”。 说明: 如果需要更新驱动文件,则需要先在数据集成页面重启CDM集群,然后通过编辑数据连接的方式重新选择新版本驱动,更新驱动才能生效。 驱动文件
及其密码。 说明: MRS 3.1.0及之后版本集群,所创建的用户至少需具备Manager_viewer的角色权限才能在管理中心创建连接;如果需要对应组件的进行库、表、数据的操作,还需要添加对应组件的用户组权限。 MRS 3.1.0版本之前的集群,所创建的用户需要具备Manage
管理员导入脚本时,选择导入提交态,会生成对应的待发布项。 管理员导入脚本时,选择导入生产态,则不会生成待发布项。 前提条件 已提交版本,详情请参见提交版本。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio
9.3.300及以下版本时,仅支持与安全模式集群的MRS Ranger创建连接。 如果需要与非安全模式集群的MRS Ranger创建连接,则需要确保CDM集群为2.10.0.300及以上版本,或联系客服或技术支持人员升级CDM集群中的dlg-agent组件版本。 MRS集群名 是
及其密码。 说明: MRS 3.1.0及之后版本集群,所创建的用户至少需具备Manager_viewer的角色权限才能在管理中心创建连接;如果需要对应组件的进行库、表、数据的操作,还需要添加对应组件的用户组权限。 MRS 3.1.0版本之前的集群,所创建的用户需要具备Manage
及其密码。 说明: MRS 3.1.0及之后版本集群,所创建的用户至少需具备Manager_viewer的角色权限才能在管理中心创建连接;如果需要对应组件的进行库、表、数据的操作,还需要添加对应组件的用户组权限。 MRS 3.1.0版本之前的集群,所创建的用户需要具备Manage
使用PHP语言调用APP认证的API时,您需要先获取SDK,然后新建工程,最后参考调用API示例调用API。 本章节以IntelliJ IDEA 2018.3.5版本为例介绍。 准备环境 已获取API的域名、请求url、请求方法、AppKey和AppSecret等信息,具体参见认证前准备。 获取并安装IntelliJ
在“质量作业”页面单击“新建”,进入“基本配置”页面,配置质量作业的基本信息。 单击“下一步”进入“规则配置”页面,配置质量作业的相关规则。在“计算范围”的“条件扫描”里面配置数据质量作业参数,如下图所示。 图1 设置数据质量参数 单击“下一步”,依次配置告警、订阅、调度等信息。配置质量作业的详细操作请参见新建质量作业。