使用sqlloader导入数据(千万级)-oracle

article/2025/9/19 11:50:52

前言:笔者业务场景:当前表无分区,需将数据导出,创建分区后,重新导入当前表;当然,该方法同样使用于普通的数据迁移,或新旧表数据同步(表结构一致)

一、涉及数据量:5470w+

二、导入方式:sqlloader命令导入

1.导入命令

sqlldr oracle用户/oracle密码  control=/data/bak/ht_user.ctl log=/data/bak/  bad=log=/data/bak/  errors=1000;

如下命令

sqlldr unionpay/123456  control=/data/bak/ht_user.ctl log=/data/bak/  bad=/data/bak/  errors=1000

  •  sqlldr 命令无效,检查自己的oracle客户端是否已安装并配置了环境变量,这里不再赘述;
  • ctl文件需事先编辑好,放到对应路径下(格式见第2点);
  • log 和bad是用于打印执行日志和错误日志,执行时间和报错信息都会记录下来,可自定义文件名,无则默认同ctl文件名,如ht_user.log ,ht_user.bad ;
  • errors=1000 表示可忽略的最多的报错行数,默认50行,超过则会中断执行
  • 密码如带有特殊字段,会报错:-bash:  !123456@: envent not found
  • 命令行密码部分需用单引号,如 '!123456@',执行会提示手动输入用户名和密码

2.ctl文件格式 

options(skip=1,ROWS=1000)  --跳过第一行,每次提交1000数据
load data
CHARACTERSET UTF8   --导入文件编码
infile '/home/oracle/ht_users.csv'    --文件
insert into table "HT_USERS"   --表名,必须双引号
fields terminated by ','  --分割符
trailing nullcols   --将所有不在纪录中的指定位置的列当作空值
(
  TRANS_SEQ,
  USER_ACCTNO,
  USER_ACCTTYPE,
  TRANS_AMT  float external,
  TRANS_DATE DATE "YYYY-MM-DD hh24:mi:ss",
  TRANS_DATETIME TIMESTAMP "YYYY-MM-DD hh24:mi:ss:ff",
  USER_CODE,
  USER_NAME,
  USER_STATE,
  USER_PASSWORD
)

  •  表字段为普通的字符格式,不需要特别转化
  • number类型,需字段后加 float external
  • date类型,需加 DATE "YYYY-MM-DD hh24:mi:ss",日期格式根据csv文件实际情况转换
  • TIMESTAMP  需加 TIMESTAMP "YYYY-MM-DD hh24:mi:ss:ff"   时间格式根据csv文件实际情况转换

 3.实际效率 3小时

 三、据说使用数据泵(expdp/impdp)导出导入dump文件格式效率更高,因笔者没有Root权限,所以没有用该方式;如果简单的数据迁移,也可使用navicat中的数据同步,简单快捷;至于其他导数据的姿势,还没学会,也欢迎评论赐教。


http://chatgpt.dhexx.cn/article/mRjH5S1n.shtml

相关文章

oracle-sqlloader的简单使用

目录 使用场景 简单使用 编写ctl文件 执行命令 使用场景 当你拿到一个txt文件,里面的数据是用统一符号分割的,例如如下文件,就可以考虑使用sqlloader导入到oracle数据库。 简单使用 编写ctl文件 OPTIONS (skip1,rows128) -- sqlldr 命…

使用Sqlloader处理数据

Oracle数据导出工具sqluldr2可以将数据以csv、txt等文件格式导出,适用于大批量数据的导出,导出速度非常快,导出后可以使用Oracle SQL Loader工具将数据导入到数据库中。下面将介绍Sqluldr2和sqlldr在Windows平台下的数据处理过程。 一、获取…

oracle之sqlloader

oracle的sqlloader可以从文件批量的将数据插入到数据库中,避免了使用SQL一句一句插入给数据库带来的压力。在工作中,简单的使用了一下,并没有深入的研究,下面是一个例子。 ① 数据文件信息: tina,12,34…

oracle sqlloader 的简单使用

1、EMP1 建表语句: CREATE TABLE EMP1 (EMPNO NUMBER(8) NOT NULL,ENAME VARCHAR2(10),HIREDATE DATE,JOB VARCHAR2(20),SAL NUMBER(8),DEPTNO NUMBER(8) NOT NULL ); 2、test.txt 数据文件: 1|Abandon1|2022-02-01|销售人员1|2500…

linux sql*loader-704,初见Oracle SqlLoader工具

因为大量的数据存在于文本文件中,需要导入到Oracle,有幸接触到神器SqlLoader. 在安装好Oracle的主机上单独运行sqlldr命令 sqlldr 将看到关于此工具的说明: 也只是简单的一个例子,帮助初次接触的你。 编写一个ctl文件,Oracle数据库…

mysql sql loader_Sql Loader的简单使用

之前总结的关于SQL*Loader的用法,今天又用到,又翻出来看看 SQL*Loader 可将外部文件中的数据加载到Oracle DB的表中。它具有一个功能强大的数据分析引擎,因此对数据文件中数据的格式没有什么限制。 SQL*Loader 使用以下文件:输入数…

Linux中sql*loader-350,SqlLoader

Sqlloader的步骤 1) Oracle 数据库端必须已经建好了需要导入的数据表的结构 2) 存在数据源文件 3) 手工编辑一个XXX.CTL 的控制文件 4) 命令行加载数据 Sqlldr命令具体信息如下图 Sqlldr运行的一个具体例子 sqlldr userid=user1/123456 control=bcp1.ctl log=log/bcp1.log bad=…

如何使用SqlLoader导入数据

Oracle 使用sqlloader导入数据非常方便,下面是我的导入步骤: 第一步,检查机器安装了sqlldr.exe没? 2、建一张表 CREATE TABLE student1 ( sname varchar (20), sage INTEGER, semall varchar (20), sphone VARCHAR (20), saddress varchar (…

MyBatis select标签

在 MyBatis 中,select 标签是最常用也是功能最强大的 SQL 语言,用于执行查询操作。 select 示例语句如下。 SELECT id,NAME,url FROM website WHERE NAME LIKE CONCAT (‘%’,#{name},‘%’) 以上是一个 id 为 selectAllWebsite 的映射语句&#xff0…

MyBatis标签对postgreSQL中returning返回参数的处理

mybatis中用标签处理SQL语句时,遇到pgsql中比较特殊的returning *。 当INSERT时会返回returning后的字段,但是在mybatis中使用INSERT("${sql}")时会遇到如下错误 ps: Mapper method com.lingtu.mapper.EventMapper.insert has an u…

MyBatis 配置文件标签

文章目录 MyBatis 配置文件标签1. properties2. settings3. plugins4. typeAliases5. environments6. mappers MyBatis 配置文件标签 MyBatis 的全局配置文件习惯上命名为:mybatis-config.xml ,此文件名仅仅是建议,并非是强制要求。配置文件存…

Mybatis值trim标签

Mybatis具有实现动态SQL的能力,使用这个特性免不了会用到trim这个标签,trim标签的功能简单来说就是自定义格式拼凑SQL语句。 trim有4个属性: prefix:表示在trim包裹的SQL前添加指定内容 suffix:表示在trim包裹…

MyBatis foreach标签

前面我们学习了如何使用 Mybatis if、where、trim 等动态语句来处理一些简单的查询操作。对于一些 SQL 语句中含有 in 条件,需要迭代条件集合来生成的情况,可以使用 foreach 来实现 SQL 条件的迭代。 Mybatis foreach 标签用于循环语句,它很…

mybatis常用标签

一.定义sql语句 1.select 标签 属性介绍: (1)id :唯一的标识符. (2)parameterType:传给此语句的参数的全路径名或别名 例:com.test.poso.User或user (3)resultType :语句返回值类型或别名。注意&#xff…

Mybatis中标签大全

文章目录 一、标签分类 二、标签总结 1. 基础SQL标签 1.1 查询select 1.2 增删改 1.3 其他基础标签 1.3.1 sql 标签 1.3.2 include 标签 1.3.3 if 标签 1.3.4 别名 2. collection与association标签 3. resultMap标签 4. foreach标签 5. where标签 6. set标签 7.…

jarsigner命令行签名打包

jarsigner签名,之前都是通过AS进行签名,通过这种方式也是可以签名的,需要提前把需要的东西准备好,现在把步骤记录在下面。(下面的操作都是在jdk的路径下进行操作) 1.首先准备Jdk的路径(在androi…

jarsigner: 无法打开 jar 文件: tap_unsign.apk

flutter 的 android项目上线,我们在想应用宝发布应用时,需将key.jks文件放入应用宝的空白文件中,在cmd中执行 jarsigner -verbose -keystore key.jks -signedjar baoming.apk tap_unsign.apk name遇到如下报错 jarsigner: 无法打开 jar 文件…

apk重签名之jarsigner命令签名

apk的签名工作可以通过两种方式来完成: 1)通过ADT提供的图形化界面完成apk签名;2)完全通过DOS命令来完成apk签名 1)准备工作 我比较喜欢第2)种方式,所以下面将讲解如何通过命令的方式完成apk…

jarsigner签名

上线了3年多的项目,最近为了进行市场推广,在现在主流的vivo,oppo,华为及百度和阿里进行上传应用.因为有些市场是因为有抓取包的行为(比如在oppo应用市场,以前从未在oppo市场上传过应用,但是能在他的市场中搜索到,这就是因为在其他市场比如应用宝这些市场抓取过包),因此在诸如op…

使用jarsigner工具apk签名算法问题

为 -digestalg 选项指定的SHA1 算法 被视为存在安全风险。此算法将在未来的更新中被禁用。 为 -sigalg 选项指定的SHA1withRSA 算法被视为存在安全风险。此算法将在未来的更新中被禁用。 修改: 将 signcmd "%sjarsigner" -keystore "%s" -st…