mysqlimportで最速にデータをインポートする方法

phpMyadminのインポート(LOAD DATA文を使用したCSVの読み込み)は高速ですが、データ量やファイルサイズが多いと処理を実行できません。そこで直接、MySQLのmysqlimportでファイルをインポートする方法をご紹介します。処理時間の目安はサーバーのスペックにもよりますが、340Mのファイルで750万レコードが30秒で挿入できます。

1. サーバーにSSH接続をする

SSH接続がわからない方は「レンタルサーバーにSSH接続でMySQLへアクセスする」をご覧下さい。

2. mysqlimportでデータをインポートする

このコマンドを実行すればデータを最速でインポートできます。

mysqlimport -u ユーザー名 -p データベース名  --local ファイル名 --fields-terminated-by ';' --fields-optionally-enclosed-by '"'  --fields-escaped-by '\' --lines-terminated-by '\r\n'

必須項目

ユーザー名
　ユーザー名を入力します。
データベース名
　データベース名を入力します。
ファイル名
　ファイル名を入力します。
　※ファイル名は必ず挿入先のテーブル名にします。(例)mst_person.txt
　※コマンドを実行する前にこのファイルがあるディレクトリに移動します。

Windowsのファイルの場合は状況に応じて必要

　--lines-terminated-by '\r\n'
　　ファイルの改行コードを設定します。

任意項目

　--fields-terminated-by ';'
　　カラムの終端記号の設定です。
　--fields-optionally-enclosed-by '"'
　　カラム囲み記号の設定です。
　--fields-escaped-by '\'
　　カラムのエスケープ記号の設定です。

インポートに失敗する場合

このようなエラーが出る場合はサーバの判断で処理をKILLされています。主にレンタルサーバーで処理が重いときに発生しやすいエラーです。ファイルを分割して実行しましょう。

MySQL公式サイト

mysqlimport（テキストファイルからのデータのインポート）
LOAD DATA INFILE 構文

関連リンク

複数のmysqlimportを自動で実行する[SSH接続/Tera Termマクロ]
レンタルサーバーにSSH接続でMySQLへアクセスする

• Twitter
• Facebook
• はてブ

• Pocket
• LINE

関連記事