Laravel Seeder 生成百万模拟数据
Laravel 集成了 Faker 库,并提供了 Seeder 可以帮助我们轻松地生成模拟数据。
先书写数据仓库和数据填充代码
数据仓库代码
use App\Models\Topic;
use Faker\Generator as Faker;
$factory->define(Topic::class, function (Faker $faker) {
$sentence = $faker->sentence();
// 随机取一个月以内的时间
$updated_at = $faker->dateTimeThisMonth();
// 传参为生成最大时间不超过,因为创建时间永远比更改时间要早
$created_at = $faker->dateTimeThisMonth($updated_at);
return [
'title' => $sentence,
'body' => $faker->text(),
'excerpt' => $sentence,
'created_at' => $created_at,
'updated_at' => $updated_at,
];
});
数据填充代码
class TopicsTableSeeder extends Seeder
{
/**
* Run the database seeds.
*
* @return void
*/
public function run()
{
// 所有用户ID数组,如:[1,2,3,4]
$user_ids = User::all()->pluck('id')->toArray();
// 所有分类 ID 数组,如:[1,2,3,4]
$category_ids = Category::all()->pluck('id')->toArray();
// 获取 Faker 实例
$faker = app(Faker\Generator::class);
$topics = factory(Topic::class)
->times(1000)
->make()
->each(function ($topic, $index) use ($user_ids, $category_ids, $faker){
// 从用户 ID 数组中随机取出一个并赋值
$topic->user_id = $faker->randomElement($user_ids);
// 话题分类,同上
$topic->category_id = $faker->randomElement($category_ids);
});
// 将数据集合转换为数组,并插入到数据库中
Topic::insert($topics->toArray());
}
}
我们通过是 times() 设置了填充的次数,执行数据填充命令,可以将 1000 条数据填充至 topics 表中,这很方便。
php artisan db:seed --class=TopicsTableSeeder
如果我们想要插入 100w 条数据,是不是把 times() 的参数改为 1000,000 就可以了?当你这样做之后,你会发现如下报错
General error: 1390 Prepared statement contains too many placeholders
这个问题是因为 mysql 默认支持的占位符最多为 65535(2^16-1) 个,写入数据为 m 列,n 行。m*n 必须小于 65535。
所以没法一次性插入大量数据,查了一下 php artisan db:seed
也没有提供执行次数的相关参数。
最后,决定使用 shell 脚本进行解决。
for (( i = 0; i < 1000; i++ )); do
/usr/local/bin/php artisan db:seed --class=TopicsTableSeeder
done
等待片刻,你会发现 100w 数据已经生成完毕!
PS:数据仓库和数据填充代码来自 larabbs