检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
delete the file " + DEST_PATH + File.separator + FILE_NAME); } } 父主题： 开发HDFS应用
hdfsDisconnect(fs); 准备运行环境 在节点上安装客户端，例如安装到“/opt/client”目录，安装方法可参考《MapReduce服务用户指南》的“客户端管理”章节。 确认服务端HDFS组件已经安装，并正常运行。 客户端运行环境已安装1.7或1.8版本的JDK。 获取并解压缩安装“MRS_HDFS_Client
微博 分享文档到微博 微信 扫码分享文档 复制链接 复制链接到剪贴板 文档内容是否对您有帮助？ 很差 较差 一般 较好 非常好 提交成功！非常感谢您的反馈，我们会继续努力做到更好！ 系统繁忙，请稍后重试 您已选择评价星级，如有其他建议可在下方反馈，或直接提交反馈！ 在使用文档中是否遇到以下问题
云存储网关通过在用户本地数据中心和华为云部署网关，为用户提供存储空间，支持NFS文件协议访问，后端存储使用OBS对象存储。 表1 功能简介 类别 功能 描述 管理网关 部署网关 通过CSG管理控制台创建并初始化网关，包括配置网关名称、网关IP、访问密钥（AK/SK）、缓存盘等 。
作业、在线/批量/边缘服务 ModelArts Studio（MAAS） 运行日志（不开启则不计费） 由云日志服务（LTS）提供日志收集、分析、存储等服务。 部署服务时，开启“运行日志输出”后，日志数据超出LTS免费额度后，会产生费用。具体可参考云日志服务价格详情 按实际日志量付费
在“数据标注”节点单击“实例详情”进入“音频标注”页面。声音分类项目创建时，音频来源有两种，通过本地添加或同步OBS中的数据。 添加音频：您可以将本地音频快速添加到ModelArts，同时自动上传至创建项目时所选择的OBS路径中。单击“添加数据”，在弹出的对话框中输入正确的数据并添加。 仅支持16bit
操作场景 开发应用集成ModuleSDK进行工业子系统接入。 用户在个节点下部署了多个子系统（如erp），北向应用NA需要调用某个子系统的接口,该子系统需要将order数据上传到用户的北向应用NA上。 父主题： 集成ModuleSDK进行工业子系统接入
Spark Streaming对接Kafka0-10样例程序开发思路 场景说明 假定某个业务Kafka每1秒就会收到1个单词记录。 基于某些业务要求，开发的Spark应用程序实现如下功能： 实时累加计算每个单词的记录总数。 “log1.txt”示例文件： LiuYang YuanJing
部署应用 部署应用，具体参考部署应用，进入节点详情页安装应用。 父主题： 集成ModuleSDK进行数据采集
调测Hive SpringBoot样例程序 该章节内容适用于MRS 3.3.0及之后版本。 SpringBoot样例工程的命令行形式运行 在IDEA界面左下方单击“Terminal”进入终端，执行命令mvn clean package进行编译。 当输出“BUILD SUCCESS
Spark SQL join优化 操作场景 Spark SQL中，当对两个表进行join操作时，利用Broadcast特性（请参见使用广播变量），将小表BroadCast到各个节点上，从而转变成非shuffle操作，提高任务执行性能。 这里join操作，只指inner join。
使用自定义镜像创建Notebook后打开没有kernel 问题现象 使用自定义镜像创建实例启动后，打开JupyterLab>新建Notebook，选不到kernel。 原因分析 自定义镜像的python环境没有注册。 解决方案 在Terminal里执行命令排查实例存在几个Conda环境。
视图和关联表设计 视图设计 【建议】除非视图之间存在强依赖关系，否则不建议视图嵌套。 【建议】视图定义中尽量避免排序操作。 关联表设计 【建议】表之间的关联字段应该尽量少。 【建议】关联字段的数据类型应该保持一致。 【建议】关联字段在命名上，应该可以明显体现出关联关系。例如，采用同样名称来命名。
ClickHouse分布式表设计 建议 分布式表建表参考： CREATE TABLE default.my_table_dis ON CLUSTER default_cluster AS mybase.my_table_local ENGINE = Distributed(default_cluster
ClickHouse日志管理规则 日志路径 ClickHouse相关日志的默认存储路径为：“${BIGDATA_LOG_HOME}/clickhouse”。 ClickHouseServer运行相关日志：“/var/log/Bigdata/clickhouse/clickhouseServer/
Hudi表模型设计规范 规则 Hudi表必须设置合理的主键。 Hudi表提供了数据更新和幂等写入能力，该能力要求Hudi表必须设置主键，主键设置不合理会导致数据重复。主键可以为单一主键也可以为复合主键，两种主键类型均要求主键不能有null值和空值，可以参考以下示例设置主键： SparkSQL：
支持标签的云服务和资源类型 当前华为云大部分云服务资源均支持添加标签，但部分云服务资源（如OBS桶）的标签信息暂未上传至Config服务，因此无法在Config服务中使用标签相关的能力，例如无法在“资源清单”页面通过标签搜索到相应资源，或无法使用涉及标签场景的资源合规规则等。 当
java样例代码 开发说明 本样例只适用于MRS的OpenTSDB。 前提条件 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。
setSchema(job, schema); job.setOutputFormatClass(HCatOutputFormat.class); 父主题： 开发Hive应用
发送的消息(json)：发送的消息的json格式。 提示如下信息，表示测试成功。 图4 测试成功 在脚本中调用连接器 在脚本中，调用连接器实现调用IEF的接口。 参考开发一个简单脚本实例中操作，创建一个空白脚本。 图5 新建空白脚本 在脚本编辑器中，输入如下代码。 import { Decimal } from
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
