GmailをIMAP経由のThunderbirdでも使っているのですが、数万のメールを起動時に処理するのは大きな負担のようです。Gmailの設定を眺めると、『フォルダサイズの制限』というのがありました。