トラブルシューティング

VPN経由のファイル転送だけ失敗する ― 経路MTU不一致とPMTUD Blackholeの調べ方と対策
リモートサーバへの接続経路を、新しく導入した拠点間VPN経由に切り替えました。 その直後から、ping は通るのに数十MBを超えるファイル転送だけがエラーも出さずに途中で止まる、という障害が起き始めました。 切り替え前の […]

RACインスタンスがダウン ― どのログを解析するのか
📚 連載:RAC障害のログ解析 1. RACインスタンスがダウン ― どのログを解析するのか(instance down 編・本記事) 2. RACのノードエビクション ― インターコネクトダウン(ネットワークハートビー […]

毎晩Javaプロセスが突然停止する ― OOM Killer 強制終了の調べ方と対策
本番の Web アプリケーションサーバで、毎晩決まった時間に Java プロセスが突然停止します。 しかしアプリケーションログには、終了直前まで正常な処理記録しか残っていません。 エラーメッセージは一切ありません。 sy […]

特定のサーバだけ外部ネットワークに出られない…Linux デフォルトルート消失の調査と復旧手順
「サーバを再起動したら、その1台だけ外部のサイトに接続できなくなった」という連絡が来た。 同じネットワークの他のサーバは問題なく外部と通信できている。 対象のサーバにログインしてみると、同じセグメント内の機器には pin […]

大量 INSERT 後に SELECT が遅延…Oracle 統計情報の陳腐化の調査と復旧手順
夜間バッチの翌朝、「受注テーブルの検索が遅い」という連絡が来た。 昨日までは1秒もかからず返ってきていた SELECT 文が、今日は1分以上かかる。 DB は正常稼働中。アラートログに ORA エラーはなく、CPU・メモ […]

df -h は正常なのに「No space left on device」…inode 枯渇の調査と復旧手順
夜間バッチが失敗したというアラートが上がった。 oracle ユーザーでサーバにログインし、ログファイルを書き出そうとすると: $ echo “test” > /u01/app/oracle/diag/test.t […]

ORA-12541「TNS:リスナーがありません」の原因と対処法|sqlplusは繋がるのにアプリだけ接続不可
「アプリから DB に繋がらない」という連絡が来た。 確認しようと DB サーバに SSH して sqlplus / as sysdba を叩くとあっさり繋がる。 DB は稼働している。なのにアプリからは繋がらない…。 […]

サーバへの接続ができたり、できなかったり…IP 重複による ARP キャッシュ書き換えと arping 診断手順
「アプリサーバから DB サーバに繋がらない」という障害報告が入った。確認しに行くと繋がる。しばらく経つと、また繋がらなくなる…。 再現しない断続的な障害ほど、調査が迷走しやすいものです。この記事では、こうした断続的な接 […]

ORA-00257 発生:FRA フルとアーカイブ停止の仕組みと解消手順
Oracle DB に接続しようとしたら「ORA-00257: archiver error. Connect internal only, until freed.」で一般ユーザーが接続できず、SYSDBA のみ接続で […]

Linux のディスクフル調査:df と du の乖離が起きる理由と対処法
df -h で / が 100% になっているのに、du -ch /* で合計してもその数字に届かない——そんな不思議な状況に遭遇したことはありませんか? 原因は「削除済みなのにプロセスが開き続けているファイル」です。こ […]