检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
unreasonable_permission UnreasonablePermission object 权限控制合理性检测结果。 表4 HighPermission 参数 参数类型 描述 result String 检测结果 NO_RISK 无风险 MEDIUM_RISK 中风险 HIGH_RISK 高风险 NOT_SCANNED
String 登录CloudTable集群的访问标识。建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 linkConfig.securityKey 是 String 登录CloudTable集群的密钥。建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 父主题: 连接参数说明
参数类型 描述 task_id String 诊断任务id scanning Boolean 是否正在扫描 check_time Long 最新检测时间。 classification ClassificationResult object 数据分级分类诊断结果 rule IdentificationRuleResult
CDM迁移性能如何? 单个cdm.large规格实例理论上可以支持1TB~8TB/天的数据迁移,实际传输速率受公网带宽、集群规格、文件读写速度、作业并发数设置、磁盘读写性能等因素影响。更多详情请参见性能白皮书。 父主题: 数据集成(CDM作业)
CSS 功能 通过CSS节点执行云搜索请求,实现在线分布式搜索功能。 参数 用户可参考表1和表2配置CSS节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。
问题描述 CDM是否支持增量迁移? 解决方案 CDM支持增量数据迁移。 利用定时任务配置和时间宏变量函数等参数,可支持以下场景的增量数据迁移: 文件增量迁移 关系数据库增量迁移 HBase/CloudTable增量迁移 详情请参见增量迁移。 父主题: 数据集成(CDM作业)
txt”,内容为一段英文单词。 操作步骤: 将脚本和数据文件传入OBS桶中,如下图。 图1 上传文件至OBS桶 本例中,wordcount.py和in.txt文件上传路径为:obs://obs-tongji/python/ 创建一个数据开发模块空作业,作业名称为“job_MRS_Spark_Python”。
参数类型 描述 task_id String 诊断任务id scanning Boolean 是否正在扫描 check_time Long 最新检测时间。 kerberos SecurityCertification object 安全认证诊断结果 public_network_access
配置此参数。 linkConfig.keytab 否 FileContent Kerveros认证所需的keytab文件的本地绝对路径,您也可以联系管理员获取此文件。使用集群配置前需在集群配置管理中配置此参数。 linkConfig.hiveVersion 是 枚举 Hive版本:
如果未配置测试运行历史OBS桶,则无法查看历史运行的详细信息。请参考本节操作配置OBS桶。 约束限制 OBS路径仅支持OBS桶,不支持并行文件系统。 配置方法 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts S
脚本开发流程 脚本开发功能提供如下能力: 提供在线脚本编辑器,支持进行SQL、Shell、Python等脚本在线代码开发和调测。 支持导入和导出脚本。 支持使用变量和函数。 提供编辑锁定能力,支持多人协同开发场景。 支持脚本的版本管理能力,支持生成保存版本和提交版本。 保存版本时
Hudi建表配置 Location 存储在OBS或HDFS上数据库表的文件路径。 - Hudi表类型 Hudi表存储类型。 MOR表:数据先写入avro格式的日志文件,读取时合并到parquet文件。 COW表:数据直接写入parquet文件。 MOR Hudi表主键 对Hudi建表设置主键,多个值以逗号隔开。
获取CDM作业的JSON 修改JSON 创建DLF作业 获取CDM作业的JSON 进入CDM主界面,创建一个DWS到OBS的表/文件迁移作业。 在CDM“作业管理”界面的“表/文件迁移”页签下,找到已创建的作业,单击作业操作列的“更多 > 查看作业JSON”,如图1所示。 您也可以使用其它已创建好的CDM作业JSON。
String 资源文件所在OBS路径,当类型为jar时,location为主Jar包所在路径。最多1023个字符。示例:obs://myBucket/test.jar dependFiles 否 List<String> 主Jar包所依赖的JAR包、properties文件。总的长度不能超过10240个字符。
OBSUtil内嵌对象提供了一系列针对OBS的操作方法,例如判断OBS文件或目录是否存在。 方法 表1 方法说明 方法 说明 示例 boolean isExistOBSPath(String obsPath) 判断OBS文件或目录(目录请以“/”结尾)是否存在,存在返回true,不存在返回false。
响应消息的Content-Type是application/octet-stream,需要解析转化为一个文件,可以参考解析响应消息体中的流样例代码。响应是一个压缩文件,文件名称格式DLF_{job_name}.zip,压缩文件里面的文件目录如下: jobs ├─{job_name}.job scripts ├─{script_name}
可选,有Body体的情况下必选,没有Body体则无需填写和校验。 表4 FormData参数 参数 是否必选 参数类型 描述 file 是 File 导入主题用的excel文件,大小必须小于4MB,且行数小于3000行。 响应参数 状态码: 200 表5 响应Body参数 参数 参数类型 描述 data data
、en-us,分别表示中文、英文。 表4 FormData参数 参数 是否必选 参数类型 描述 file 是 File 导入用的excel文件,大小必须小于4MB,且行数小于3000行。 响应参数 状态码: 200 表5 响应Body参数 参数 参数类型 描述 data data
单击“确定”,移动作业。 方式二:通过拖拽的方式。 单击选中待移动的作业或作业文件夹,拖拽至需要移动的目标文件夹松开鼠标即可。 方式三:批量选中进行移动。 批量选择待移动的多个作业或作业文件夹,移动到目标文件夹下。 作业移动时,支持将作业移动到翻牌目录下。 移入翻牌目录的作业支持移出。
包进行配置。 检测网络连通性:数据连接和资源组配置完成后需要测试整个迁移任务的网络连通性,可通过以下方式进行数据源和资源组之间的连通性测试。 单击展开“源端配置”触发连通性测试,会对整个迁移任务的连通性做校验。 单击源端和目的端数据源和资源组中的“测试”按钮进行检测。 网络连通性