ホーム > カテゴリ > データベース・SQL >

mysqlimportで最速にデータをインポートする方法

phpMyadminのインポート(LOAD DATA文を使用したCSVの読み込み)は高速ですが、データ量やファイルサイズが多いと処理を実行できません。そこで直接、MySQLのmysqlimportでファイルをインポートする方法をご紹介します。処理時間の目安はサーバーのスペックにもよりますが、340Mのファイルで750万レコードが30秒で挿入できます。

1. サーバーにSSH接続をする

SSH接続がわからない方は「レンタルサーバーにSSH接続でMySQLへアクセスする」をご覧下さい。

2. mysqlimportでデータをインポートする

このコマンドを実行すればデータを最速でインポートできます。

mysqlimport -u ユーザー名 -p データベース名  --local ファイル名 --fields-terminated-by ';' --fields-optionally-enclosed-by '"'  --fields-escaped-by '\' --lines-terminated-by '\r\n'

必須項目

ユーザー名
　ユーザー名を入力します。
データベース名
　データベース名を入力します。
ファイル名
　ファイル名を入力します。
　※ファイル名は必ず挿入先のテーブル名にします。(例)mst_person.txt
　※コマンドを実行する前にこのファイルがあるディレクトリに移動します。

Windowsのファイルの場合は状況に応じて必要

　--lines-terminated-by '\r\n'
　　ファイルの改行コードを設定します。

任意項目

　--fields-terminated-by ';'
　　カラムの終端記号の設定です。
　--fields-optionally-enclosed-by '"'
　　カラム囲み記号の設定です。
　--fields-escaped-by '\'
　　カラムのエスケープ記号の設定です。

読み込むファイルの形式をphpMyadminのインポートの「LOAD DATA文を使用したCSVの読み込み」と同様にしています。

インポートに失敗する場合

このようなエラーが出る場合はサーバの判断で処理をKILLされています。主にレンタルサーバーで処理が重いときに発生しやすいエラーです。ファイルを分割して実行しましょう。

Error: 1317, Query execution was interrupted, when using table

MySQL公式サイト

mysqlimport（テキストファイルからのデータのインポート）
LOAD DATA INFILE 構文

関連リンク

複数のmysqlimportを自動で実行する[SSH接続/Tera Termマクロ]
レンタルサーバーにSSH接続でMySQLへアクセスする





関連記事


前の記事：phpMyadminで高速にデータをインポートする方法
次の記事：複数のmysqlimportを自動で実行する[SSH接続/Tera Termマクロ]

公開日：2015年03月10日 最終更新日：2017年03月04日
記事NO：00440


この記事を書いた人

💻 ITスキル・経験
サーバー構築からWebアプリケーション開発。IoTをはじめとする電子工作、ロボット、人工知能やスマホ/OSアプリまで分野問わず経験。

画像処理/音声処理/アニメーション、3Dゲーム、会計ソフト、PDF作成/編集、逆アセンブラ、EXE/DLLファイルの書き換えなどのアプリを公開。詳しくは自己紹介へ
プチモンテ代表、アーティスト名：プチモンテ
🎵 音楽制作
BGMは楽器(音源)さえあれば、何でも制作可能。歌モノは主にロック、バラード、ポップスを制作。歌詞は叙情詩、叙情的な楽曲が多い。楽曲制作は2023年12月中旬 ～

オリジナル曲を始めました✨

YouTubeで各楽曲を公開しています🌈
https://www.youtube.com/@petitmonte

【男性ボーカル】DA・KA・RA | 新たな明日が風と共に訪れる

【男性、女性ボーカル】時空を超越する先に | 時空と風の交響曲

【女性、男性ボーカル】絆 | 穏やかな心に奏でる旋律