检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安装curl库。 apt-get install libcurl4-openssl-dev 获取SDK 登录DataArts Studio控制台。 单击“数据服务”模块。 单击左侧菜单“共享版> SDK”或“专享版 > SDK”。 单击SDK使用引导区域里对应语言的SDK,下载SDK包到本地。
Kit 1.8.111或以上版本,如果未安装,请至Oracle官方下载页面下载。 获取SDK 登录DataArts Studio控制台。 单击“数据服务”模块。 单击左侧菜单“共享版> SDK”或“专享版 > SDK”。 单击SDK使用引导区域里对应语言的SDK,下载SDK包到本地。
使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。
Explorer接口和REST API SDK包支持如下组件: 数据集成(注册在云数据迁移CDM服务) 数据开发 管理中心 数据架构 数据质量 数据目录 数据服务 数据安全 数据集成组件的API Explorer接口和SDK代码仓注册在“云数据迁移CDM”服务下。如需使用数据集成组件的API Explorer
> 连接管理 > 集群配置管理”。 在集群配置管理界面,选择“新建集群配置”,配置参数填写如下: 图2 新建集群配置 集群配置名:根据连接的数据源类型,用户可自定义便于记忆、区分的集群配置名。 上传集群配置:单击“添加文件”以选择本地的集群配置文件,然后通过操作框右侧的“上传文件”进行上传。
获取并安装Android Studio,如果未安装,请至Android Studio官方网站下载。 获取SDK 登录DataArts Studio控制台。 单击“数据服务”模块。 单击左侧菜单“共享版> SDK”或“专享版 > SDK”。 单击SDK使用引导区域里对应语言的SDK,下载SDK包到本地。
format(${timestamp()},"yyyy-MM-dd HH:mm:ss")表达式获取当前时间,更多表达式设置方式可以参考表达式转换。 父主题: 数据集成(CDM作业)
Kafka连接适用于用户在本地数据中心或ECS上自建的第三方Kafka,其中本地数据中心的Kafka需通过专线连接。 连接Apache Hadoop上的Kafka数据源时,相关参数如表2所示。 表2 Apache Kafka连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。
创建了Hive到DWS类型的连接,进行CDM传输任务失败。 解决方案 建议清空历史数据后再次尝试该任务。在使用CDM迁移作业的时候需要配置清空历史数据,然后再做迁移,可大大降低任务失败的概率。 父主题: 数据集成(CDM作业)
没有生成新作业实例。 解决方案 配置作业失败异常告警通知,以及实例超时时间,当等待时间超过实例超时时间,系统将发送告警通知。 父主题: 数据开发
修改后,重启ECS的sshd,执行如下命令: restart sshd.service 检查sshd是否启动成功(下图为成功): 父主题: 数据开发
调用创建资源的API报错“资源名不合法”。 解决方案 资源名称只能包含英文字母、数字、中文字符、下划线或中划线,且长度为1-32个字符。 父主题: 数据开发
已获取API的域名、请求url、请求方法、AppKey和AppSecret等信息,具体参见认证前准备。 获取SDK 登录DataArts Studio控制台。 单击“数据服务”模块。 单击左侧菜单“共享版> SDK”或“专享版 > SDK”。 单击SDK使用引导区域里对应语言的SDK,下载SDK包到本地。
错误码 数据集成API错误码 数据开发错误码 父主题: 附录
MRS访问权限管控 数据架构 DataArts Studio 数据架构功能配置演示 24:24 数据架构功能配置演示 数据服务 DataArts Studio 创建并调用数据服务API 08:40 创建并调用数据服务API 数据目录 DataArts Studio 数据血缘自动生成 04:44
管理并查看CDM监控指标 CDM支持的监控指标 设置CDM告警规则 查看CDM监控指标 父主题: 创建并管理CDM集群
),然后在数据服务发布时选择对应API分组,独享每天最多访问1000次的规格。另外,您还可以为API分组绑定一个或多个独立域名(详情请参考绑定域名),API调用者通过访问独立域名来调用您开放的API,这样即可不受每天最多访问1000次的规格限制。 专享版默认发布到数据服务专享版集
接增加如下属性设置: 属性名称:hive.server2.idle.operation.timeout 值:10m 如图所示: 父主题: 数据集成(CDM作业)
_index获取。 page_index 数据路径 数据在json中的位置,默认为根路径,不填则取默认。 student 数据总数 数据总数,支持填写固定值,也支持从接口中获取。 固定值,例如:100000。 支持从返回的结果中,获取数据总量。例如:page.pageCount。
取值样例 基本参数 写入目录 写入数据到HDFS服务器的目录。 /user/cdm/output 文件格式 传输数据时使用的格式。其中CSV和JSON仅支持迁移到数据表场景,二进制格式适用于文件迁移场景。 CSV格式 换行符处理方式 指定在写入文本文件表的数据包含换行符,特指(\n|\r|\r\n)的情况下处理换行符的策略。