检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置的列代替。不能和“架构名称”、“表名”同时配置。 说明: SQL Where语句可以使用宏定义,具体请参考配置项中使用宏定义。 select * from test where ${CONDITIONS} 表列名 配置要导入的列,使Loader将列的内容全部导入。配置多个字段时使用“
files”,说明该节点文件句柄不足,导致打开文件句柄失败,然后就会重试往其他DataNode节点写数据,最终表现为写文件很慢或者写文件失败。 解决办法 执行ulimit -a命令查看有问题节点文件句柄数最多设置是多少,如果很小,建议修改成640000。 图1 查看文件句柄数 执行vi
单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 单击“导入”,进入作业导出界面。 在“导入”界面中选择要导入的配置文件的路径。 单击“上传”,开始导入作业。当弹出框中进度条显示100%,则说明作业导出完成。 父主题: 作业管理
1000,1100,1200 在导入数据前,需要注意: MRS 3.3.0之前版本,导入的数据不能包含空格,否则此行数据导入失败并跳过导入,后续操作不受影响。 MRS 3.3.0及之后版本,导入的数据不能包含空格,否则此次数据导入操作会失败,需要对导入数据类型进行自检。 包含,的字
配置的列代替。不能和“架构名称”、“表名”同时配置。 说明: SQL Where语句可以使用宏定义,具体请参考配置项中使用宏定义。 select * from test where ${CONDITIONS} 表列名 配置要导入的列,使Loader将列的内容全部导入。配置多个字段时使用“
结束BulkLoad客户端程序,导致作业执行失败 问题 执行BulkLoad程序导入数据时,如果结束客户端程序,为什么有时会导致已提交的作业执行失败? 回答 BulkLoad程序在客户端启动时会生成一个partitioner文件,用于划分Map任务数据输入的范围。 此文件在BulkLoad客户端退出时会被自动删除。
x_tolerable_backend_down_num”参数值为“1”,以提升导入数据可靠性。 建议低频攒批导入数据,平均单表导入批次间隔需大于30s,推荐间隔60s,一次导入1000~100000行数据。 父主题: Doris应用开发规范
下的样例工程文件夹“hcatalog-example”。 导入样例工程到IntelliJ IDEA开发环境中。 在IntelliJ IDEA的菜单栏中,选择“File > Open...”,显示“Open File or Project”对话框。 在弹出窗口选择文件夹“hcata
ClickHouse数据导入 配置ClickHouse对接RDS MySQL数据库 配置ClickHouse对接OBS源文件 配置ClickHouse对接HDFS源文件(MRS 3.2.0-LTS) 配置ClickHouse对接HDFS源文件(MRS 3.3.0-LTS及之后版本)
等待桶创建好,单击桶名称,选择“文件 > 上传文件”,将数据文件上传至OBS并行文件系统内。 切换回MRS控制台,单击创建好的MRS集群名称,进入“概览”,单击“IAM用户同步”所在行的“单击同步”,等待约5分钟同步完成。 将数据文件上传HDFS。 在“文件管理”页签,选择“HDFS文件列表”,进入
结束BulkLoad客户端程序导致作业执行失败 问题 执行BulkLoad程序导入数据时,如果结束客户端程序,为什么有时会导致已提交的作业执行失败? 回答 BulkLoad程序在客户端启动时会生成一个partitioner文件,用于划分Map任务数据输入的范围。 此文件在BulkLoad客户端退出时会被自动删除。
MRS应用开发认证失败常见问题 现象描述 MRS样例工程调试运行过程发现认证失败。 处理流程 出现认证失败的原因很多,在不同场景中建议参考以下步骤来排查: 确认本应用所运行设备和集群网络上是否通畅,Kerberos认证所需的各类端口(TCP/UDP)是否可正常访问。 确认各个配置文件是否被正确读取到,路径是否保存正确。
下的样例工程文件夹“hcatalog-example”。 导入样例工程到IntelliJ IDEA开发环境中。 在IntelliJ IDEA的菜单栏中,选择“File > Open...”,显示“Open File or Project”对话框。 在弹出窗口选择文件夹“hcata
添加相应配置信息。单击“导入”。 选择导入的类型。 导出的文件 通过算子导出的json文件导入字段的配置信息。 指导的模板 通过根据算子模板手动编写txt文件,将字段配置信息导入到算子中。 单击,选择上传文件对应路径。 单击“上传”,字段的配置信息将会导入到算子。 导出操作 登录“Loader
已准备开发环境及MRS集群相关配置文件,详情请参考准备连接Kafka集群配置文件。 操作步骤 获取样例工程文件夹。 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例工程文件夹“kafka-examples”。 获取配置文件。 若需要在本地Windows调
HBase批量导入任务失败 /user/hbase 临时目录 HBase批量导入工具临时目录 否 HBase批量导入任务失败 /sparkJobHistory 固定目录 Spark eventlog数据存储目录 否 HistoryServer服务不可用,任务运行失败 /flume 固定目录
File or Project”对话框。 在弹出窗口选择文件夹“hive-rest-client-example”,单击“OK”。Windows下要求该文件夹的完整路径不包含空格。 设置IntelliJ IDEA的文本文件编码格式,解决乱码显示问题。 在IntelliJ IDEA的菜单栏中,选择“File
File or Project”对话框。 在弹出窗口选择文件夹“hive-rest-client-example”,单击“OK”,Windows下要求该文件夹的完整路径不包含空格。 设置IntelliJ IDEA的文本文件编码格式,解决乱码显示问题。 在IntelliJ IDEA的菜单栏中,选择“File
配置MRS集群作业消息通知 MRS联合消息通知服务(SMN),采用主题订阅模型,提供一对多的消息订阅以及通知功能,能够实现一站式集成多种推送通知方式(短信和邮件通知)。通过配置作业消息通知可以实现您在作业执行成功或作业执行失败时能立即接收到通知。 登录管理控制台。 单击“服务列表”选择“管理与监管
ClickHouse数据导入 配置ClickHouse对接RDS MySQL数据库 配置ClickHouse对接OBS源文件 同步Kafka数据至ClickHouse 导入DWS表数据至ClickHouse ClickHouse数据导入导出 父主题: 使用ClickHouse