检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置HBase/CloudTable目的端参数 作业中目的连接为HBase连接或CloudTable连接时,即导入数据到以下数据源时,目的端作业参数如表1所示。 表1 HBase/CloudTable作为目的端时的作业参数 参数名 说明 取值样例 表名 写入数据的HBase表名。如果是创建
示写入表数据时,用户选择的操作: 不自动创建:不自动建表。 不存在时创建:当目的端的数据库没有“表名”参数中指定的表时,CDM会自动创建该表。如果“表名”参数配置的表已存在,则不创建,数据写入到已存在的表中。 先删除后创建:CDM先删除“表名”参数中指定的表,然后再重新创建该表。
ree。 表1 MRS ClickHouse作为目的端时的作业参数 参数名 说明 取值样例 模式或表空间 单击输入框后面的按钮可选择模式或表空间。 schema 表名 输入或选择写入数据的目标表名。 单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径
请求参数 参数说明: 参数名 是否必选 参数类型 说明 path 是 String 有OBS场景:连接定义文件在OBS上的路径,连接定义文件的格式参考导出连接的响应消息。 无OBS场景:连接定义文件在本地的路径。 params 否 List<Params> 连接参数,默认值为空。 sameNamePolicy
数据开发操作列表 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建作业 job createJob(api) 修改作业
在数据开发主界面,单击左侧导航上的“脚本开发”,进入脚本目录。 单击脚本目录中的,选择“显示复选框”。 勾选需要导出的脚本,单击 > 导出脚本。导出完成后,即可通过浏览器下载地址,获取到导出的zip文件。 图1 选择并导出脚本 在弹出的“导出脚本”界面,选择需要导出的脚本的状态,单击“确定”。
指定文件名迁移 从FTP/SFTP/OBS导出文件时,CDM支持指定文件名迁移,用户可以单次迁移多个指定的文件(最多50个),导出的多个文件只能写到目的端的同一个目录。 在创建表/文件迁移作业时,如果源端数据源为FTP/SFTP/OBS,CDM源端的作业参数“源目录或文件”支持输入多
创建数据连接需要注意哪些事项? RDS数据连接方式依赖于OBS。如果没有与DataArts Studio同区域的OBS,则不支持RDS数据连接。 主机连接当前仅支持Linux系统主机。 当所连接的数据湖发生变化(如MRS集群扩容等情况)时,您需要重新编辑并保存该连接。 数据连接中的数据湖认证信息如果发生变化(
指定文件名迁移 从FTP/SFTP/OBS导出文件时,CDM支持指定文件名迁移,用户可以单次迁移多个指定的文件(最多50个),导出的多个文件只能写到目的端的同一个目录。 在创建表/文件迁移作业时,如果源端数据源为FTP/SFTP/OBS,CDM源端的作业参数“源目录或文件”支持输入多
技术资产数量增量包提供对应的规格资源。 不同版本的DataArts Studio实例,提供了不同的技术资产数量规格限制。该规格是以数据目录中表和OBS文件的数量之和计算的,您可以在新版本模式的DataArts Studio实例卡片上通过“更多 > 配额使用量”查看使用量。当您的技术资产数量接
更新管理 更新漏洞 DataArts Studio云服务通过华为云安全公告密切跟踪漏洞,如Apache Log4j2 远程代码执行漏洞(CVE-2021-44228)、Fastjson存在反序列化漏洞(CNVD-2022-40233)等,如发现服务模块涉及漏洞影响,会迅速通过官方解决方案升级现网更新漏洞。
CSS)作为目的端时的作业参数 参数名 说明 取值样例 索引 待写入数据的Elasticsearch的索引,类似关系数据库中的数据库名称。CDM支持自动创建索引和类型,索引和类型名称只能全部小写,不能有大写。 index 类型 待写入数据的Elasticsearch的类型,类似关
字段分隔符 用于分隔CSV文件中的列的字符,支持单字符和多字符,也支持特殊字符,详见表1。 编码类型 文件的编码类型,默认是UTF-8,中文的编码有时会采用GBK。 如果源端指定该参数,则使用指定的编码类型去解析文件;目的端指定该参数,则写入文件的时候,以指定的编码类型写入。 使用包围符
”可以查看所传递的数据开发的参数以及参数值。 告警条件 告警表达式 此参数可选,如果您需要针对当前规则设定告警条件,则可以在此配置告警条件的表达式。如果您需要通过多条规则的逻辑运算统一设置告警条件的表达式,此处无需设置,可在下一步的告警配置中统一设置。 配置规则的告警条件后,系统
Management,简称IAM)进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能,可以帮助您安全的控制华为云资源的访问。关于IAM的详细介绍,请参见IAM产品介绍。 DataArts Studio仅支持基于系统角色的授权,不支持策略授权。为了实现精细的权限管控,DataArts
据”,CDM的事务模式不会回滚已经删除的数据。 否 扩大字符字段长度 选择自动创表时,迁移过程中可将字符类型的字段长度扩大为原来的3倍,再写入到目的表中。如果源端数据库与目的端数据库字符编码不一样,但目的表字符类型字段与源表一样,在迁移数据时,可能会有出现长度不足的错误。 说明:
适用组件勾选数据集成后,呈现此参数。 指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 连接属性 否 适用组件勾选数据集成后,呈现此参数。 可选参数,单击“添加”可增加多个指定数据源的JDBC连接器的属性,参考对应数据库的JDBC连接器说明文档进行配置。
Manager的用户名和密码。从HDFS导出目录时,如果需要创建快照,这里配置的用户需要HDFS系统的管理员权限。 如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户
中转VPC及其子网 用于连通数据源和资源组网络的中间桥梁,本方案中需要使用云专线虚拟网关所配置的虚拟私有云和对应配置的子网。 查看方式: 登录云专线控制台,在左侧导航栏,选择“云专线 > 虚拟网关”,在列表中找到连通其他云所使用的虚拟网关,单击虚拟网关名称,查看关联的虚拟私有云和本端子网。 图2 查看虚拟网关
Studio数据开发,必须具备“作业日志OBS桶”的读、写权限,否则,在使用过程中,系统将无法正常读、写数据开发的作业日志。 单击“请选择”按钮,您可以选择一个已创建的OBS桶和对象,系统将基于工作空间全局配置作业日志OBS桶。 如果不配置该参数,DataArts Studio数据开发的作业日志默认存储