TOP > カテゴリ > データベース・SQL >

mysqlimportで最速にデータをインポートする方法

phpMyadminのインポート(LOAD DATA文を使用したCSVの読み込み)は高速ですが、データ量やファイルサイズが多いと処理を実行できません。そこで直接、MySQLのmysqlimportでファイルをインポートする方法をご紹介します。処理時間の目安はサーバーのスペックにもよりますが、340Mのファイルで750万レコードが30秒で挿入できます。

1. サーバーにSSH接続をする

SSH接続がわからない方は「レンタルサーバーにSSH接続でMySQLへアクセスする」をご覧下さい。

2. mysqlimportでデータをインポートする

このコマンドを実行すればデータを最速でインポートできます。

mysqlimport -u ユーザー名 -p データベース名  --local ファイル名 --fields-terminated-by ';' --fields-optionally-enclosed-by '"'  --fields-escaped-by '\' --lines-terminated-by '\r\n'

必須項目

ユーザー名
 ユーザー名を入力します。
データベース名
 データベース名を入力します。
ファイル名
 ファイル名を入力します。
 ※ファイル名は必ず挿入先のテーブル名にします。(例)mst_person.txt
 ※コマンドを実行する前にこのファイルがあるディレクトリに移動します。

Windowsのファイルの場合は状況に応じて必要

 --lines-terminated-by '\r\n'
  ファイルの改行コードを設定します。

任意項目

 --fields-terminated-by ';'
  カラムの終端記号の設定です。
 --fields-optionally-enclosed-by '"'
  カラム囲み記号の設定です。
 --fields-escaped-by '\'
  カラムのエスケープ記号の設定です。

読み込むファイルの形式をphpMyadminのインポートの「LOAD DATA文を使用したCSVの読み込み」と同様にしています。

インポートに失敗する場合

このようなエラーが出る場合はサーバの判断で処理をKILLされています。主にレンタルサーバーで処理が重いときに発生しやすいエラーです。ファイルを分割して実行しましょう。

Error: 1317, Query execution was interrupted, when using table

MySQL公式サイト

mysqlimport(テキストファイルからのデータのインポート)
LOAD DATA INFILE 構文





関連記事



公開日:2015年03月10日 最終更新日:2015年03月11日
記事NO:00440