ThinkPHP快速插入SQLite的方法

发布时间:2022-3-14 11:53

因为 SQLite 是无服务数据库,所以每次操作数据都需要消耗磁盘 IO。而想要快速插入数据,本质上就是想要考虑如何减少磁盘 IO 次数。

减少 io 有很多种方法,比如 批量插入、使用事务、内存模式等,这里的优化方案选择批量插入和事务

这次测试使用的是一个 15W 条数据的 CSV 文件,将读入的数据写入数据库。

需要注意的是,本文只是优化方案的记录,并非严格的性能测试,所以这些性能结果在不同设备上会有所差异,不过这不重要。

单条插入

我们先测试一下单条插入的性能:

因单条插入性能实在太低,我们只测试一分钟的插入条数。

$list=file('bank.csv',FILE_IGNORE_NEW_LINES);

foreach ($list as $val){
    $temp = explode(',',$val);
    $data[]= [
        'number' => (int) $temp[1],
        'bankTypeName' => $temp[2],
        'bankName' => $temp[3],
    ];
}

$stime=microtime(true);
 foreach ($data as $item){
    Db::table('bank_test')->insert($item);
    // 执行 60 秒退出
    if((microtime(true) - $stime) > 60) {
        exit;
    }
}

经过测试一分钟插入数据 665 条,因为每次写入都是一次磁盘操作,所以性能非常低。

批量插入

$list=file('bank.csv',FILE_IGNORE_NEW_LINES);
foreach ($list as $val){
    $temp = explode(',',$val);
    $data[]= [
        'number' => (int) $temp[1],
        'bankTypeName' => $temp[2],
        'bankName' => $temp[3],
    ];
}
$stime=microtime(true);
$data_chunk = array_chunk($data,300);

foreach ($data_chunk as $item)
{
    Db::table('bank_test')->insertAll($item);
}

$etime=microtime(true);//获取程序执行结束的时间
$total=$etime-$stime;   //计算差值
// 指令输出
$output->writeln("插入:".count($data)."数据,耗时:{$total}");

结果:插入 150792 数据,耗时 64.941246032715 秒

可以看出来,即使只用上了批量插入,性能的提升也是非常明显的。

需要注意的是,单次批量插入条数有限制,有的文章说单次不能超过 999 条,但我测试不能超过 300 条。

使用事务

使用事务提升插入性能是 SQLite 的一个特性,原理就是将先将插入数据缓存到内存,最后提交事务的时候将数据写入磁盘,这样操作只会有一次磁盘 IO。

$list=file('bank.csv',FILE_IGNORE_NEW_LINES);
foreach ($list as $val){
    $temp = explode(',',$val);
    $data[]= [
        'number' => (int) $temp[1],
        'bankTypeName' => $temp[2],
        'bankName' => $temp[3],
    ];
}
$stime=microtime(true);

Db::startTrans();
    foreach ($data as $item)
    {
        Db::table('bank_test')->insert($item);
    }
Db::commit();

$etime=microtime(true);//获取程序执行结束的时间
$total=$etime-$stime;   //计算差值
// 指令输出
$output->writeln("插入:".count($data)."数据,耗时:{$total}");

结果:插入 150792 数据,耗时 62.787980079651 秒

可以看到 使用事务之后,即使是单条插入,性能也是很高的。

批量 + 事务

那么我们是否可以将上面的 事务和批量插入结合在一起使用呢?

$list=file('bank.csv',FILE_IGNORE_NEW_LINES);
foreach ($list as $val){
    $temp = explode(',',$val);
    $data[]= [
        'number' => (int) $temp[1],
        'bankTypeName' => $temp[2],
        'bankName' => $temp[3],
    ];
}
$stime=microtime(true);
// 多次测试发现 事务中批量插入 每次插入 100 条性能最好
$data_chunk = array_chunk($data,100);
Db::startTrans();
foreach ($data_chunk as $item)
{
    Db::table('bank_test')->insertAll($item);
}
Db::commit();
$etime=microtime(true);//获取程序执行结束的时间
$total=$etime-$stime;   //计算差值
// 指令输出
$output->writeln("插入:".count($data)."数据,耗时:{$total}");

结果:插入 150792 数据,耗时 5.9146549701691 秒

而我使用 MySQL 5.7 批量插入 每次 1000 条,都需要耗时 14 秒。

所以我认为 SQLite 插入 15W 条数据,性能能在 5、6 秒,已经是非常可观了。

写同步

可以通过关闭写同步来进一步的提升性能,但这样设置可能会在断电、崩溃等情况造成数据丢失,需要谨慎选择。

具体可参考官方文档:https://www.sqlite.org/pragma.html#pragma_synchronous

Db::query('PRAGMA synchronous = OFF');

在开启事务前关闭写同步,既事务 + 批量 + 关闭写同步,插入 15w 数据 耗时:5.1300809383392 秒。

后记

SQLite 还支持其他方式用来提升插入性能,比如 内存模式、执行准备等。但操作都比较复杂,如果只是想简单的提升写入性能,我认为 PHP 使用 上面的几种方式配合就可以了。

Vue3学习笔记之依赖注入Provide/Inject 网站建设

Vue3学习笔记之依赖注入Provide/Inject

Provide / Inject 通常,当我们需要从父组件向子组件传递数据时,我们使用 props。想象一下这样的结构:有一些深度嵌套的组件,而深层的子组件只需要父组件的部分内容。在这种情况下,如果...
Vue3全局实例上挂载属性方法案例讲解 网站建设

Vue3全局实例上挂载属性方法案例讲解

在大多数开发需求中,我们有时需要将某个数据,或者某个函数方法,挂载到,全局实例身上,以便于,在项目全局的任何位置都能够调用其方法,或读取其数据。 在Vue2 中,我们是在 main.js 中 直...