检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
云搜索服务(CSS)连接参数说明 华为云的云搜索服务(CSS)是一个基于Elasticsearch且完全托管的在线分布式搜索服务,CSS连接适用于将各类日志文件、数据库记录迁移到CSS,Elasticsearch引擎进行搜索和分析的场景。 导入数据到CSS推荐使用Logstash,请参见使用Log
导出脚本。导出完成后,即可通过浏览器下载地址,获取到导出的zip文件。 图1 选择并导出脚本 在弹出的“导出脚本”界面,选择需要导出的脚本的状态,单击“确定”。 图2 导出脚本 导入脚本 导入脚本功能依赖于OBS服务,如无OBS服务,可从本地导入。 您可以在脚本目录中导入一个或多个脚本文件。导入会覆盖开发态的内容,并自动提交一个新版本。
backend-signature\ 后端签名示例工程 csharp.sln 工程文件 licenses\license-referencesource 第三方库license文件 打开工程 双击SDK包中的“csharp.sln”文件,打开工程。工程中包含如下3个项目: apigateway-si
调度开始时间,采用ISO 8601时间表示方法,格式为yyyy-MM-dd'T'HH:mm:ssZ,例如2018-10-22T23:59:59+08表示的时间为2018年10月22日23时59分59秒,在正8区,即北京时区。 endTime 否 String 调度结束时间,采用ISO 860
在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 移动脚本或脚本目录。 方式一:通过右键的“移动”功能。 在脚本目录中选择需要移动的脚本或脚本文件夹,右键单击脚本或脚本文件夹名称,选择“移动”。 图1 移动 在弹出的“移动脚本”或“移动目录”页面,配置如表1所示的参数。 图2 移动脚本 图3 移动目录
技术资产数量增量包用于扩充技术资产数量配额。 不同版本的DataArts Studio实例,默认提供了不同的技术资产数量规格限制。该规格是以数据目录中表和OBS文件的数量之和计算的。您可以在新版本模式的DataArts Studio实例卡片上通过“更多 > 配额使用量”查看该配额情况。 当您的技术资产
Parquet格式:以Parquet格式解析源文件,用于HDFS数据导到表的场景。 CSV格式 列表文件 当“文件格式”选择为“二进制格式”时,才有该参数。 打开列表文件功能时,支持读取OBS桶中文件(如txt文件)的内容作为待迁移文件的列表。该文件中的内容应为待迁移文件的绝对路径(不支持目录),文件内容示例如下:
Parquet格式:以Parquet格式解析源文件,用于HDFS数据导到表的场景。 CSV格式 列表文件 当“文件格式”选择为“二进制格式”时,才有该参数。 打开列表文件功能时,支持读取OBS桶中文件(如txt文件)的内容作为待迁移文件的列表。该文件中的内容应为待迁移文件的绝对路径(不支持目录),文件内容示例如下:
PARQUET格式:以PARQUET格式解析源文件,一般都是用于迁移文件到数据表的场景。 二进制格式:选择“二进制格式”时不解析文件内容直接传输,不要求文件格式必须为二进制。适用于文件迁移场景,比如OBS到OBS。 CSV格式 源目录或文件 待迁移数据的目录或单个文件路径。文件路径支持输入多个文件(最多50个)
作业或脚本的抢锁操作依赖于软硬锁处理策略。软硬锁的最大的区别在于普通用户抢锁时,软锁可以任意抢锁(无论锁是否在自己手上),硬锁只能对自己持有锁的文件进行操作(包括抢锁、解锁操作)。发布、运行、调度等操作不受锁的影响,无锁也可操作。 用户可根据实际场景,配置相应的软硬锁策略。 在数据开发主界面的左侧导航栏,选择“配置管理
STATISTICS 说明: “执行Analyze语句”参数配置仅用于单表迁移场景。 是 Hive作为目的端时,会自动创建存储格式为ORC的表。 由于文件格式限制,当前仅支持ORC与Parquet格式写入复杂类型。 源端Hive包含array和map类型时,目的端表格式只支持ORC和parq
索服务(DLI)时,目的端作业参数如表1所示。 使用CDM服务迁移数据到DLI时,DLI要在OBS的dli-trans*内部临时桶生成数据文件,因此在需要赋予DLI连接中使用AK/SK所在用户对dli-trans*桶的读、写、创建目录对象等权限,否则会导致迁移失败。dli-tra
置。 是 文件分隔符 “源目录或文件”参数中如果输入的是多个文件路径,CDM使用这里配置的文件分隔符来区分各个文件,默认为|。 | 标识文件名 选择开启作业标识文件的功能时,需要指定启动作业的标识文件名。指定文件后,只有在源端路径下存在该文件的情况下才会运行任务。该文件本身不会被迁移。
调度开始时间,采用ISO 8601时间表示方法,格式为yyyy-MM-dd'T'HH:mm:ssZ,例如2018-10-22T23:59:59+08表示的时间为2018年10月22日23时59分59秒,在正8区,即北京时区。 endTime 否 String 调度结束时间,采用ISO 860
配置CDM作业定时任务 在表/文件迁移的任务中,CDM支持定时执行作业,按重复周期分为:分钟、小时、天、周、月。 CDM在配置定时作业时,不要为大量任务设定相同的定时时间,应该错峰调度,避免出现异常。 如果通过DataArts Studio数据开发调度CDM迁移作业,此处也配置了
请参见主机连接参数说明。 连接主机的用户需要具有主机/tmp目录下文件的创建与执行权限。 Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python
该功能依赖于OBS服务。 前提条件 已开通消息通知服务并配置主题,为主题添加订阅。 已提交作业,且作业不是“未启动”状态。 已开通对象存储服务,并在OBS中创建文件夹。 配置通知 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts St
过导入泄露文件运行溯源任务提取水印标识,精准定位泄露单位及责任人。 文件水印 文件水印支持如下两种场景,能够将水印注入数据文件中,实现对安全事件精准定位追责。 对结构化数据文件(csv、xml和json)注入暗水印,水印内容不可见,需要进行水印提取。 对非结构化数据文件(docx
批量导出可将需要导出的作业导出保存为JSON文件,用于备份或导入到别的集群中。 由于安全原因,CDM导出作业时没有导出连接密码,连接密码全部使用“Add password here”替换。 批量导入作业 单击“导入”,选择JSON格式的文件导入或文本导入。 文件导入:待导入的作业文件必须为JSON格式(
region String 局点名称。 created String 实例创建时间,格式为ISO8601:YYYY-MM-DDThh:mm:ssZ。 updated String 实例更新时间,格式为ISO8601:YYYY-MM-DDThh:mm:ssZ。 name String 实例名称。