상태 확인에 실패한 Amazon EC2 Linux 인스턴스 문제 해결

다음 정보는 Linux 인스턴스에서 상태 확인에 실패하는 경우 문제를 해결하는 데 도움이 될 수 있습니다. 먼저 애플리케이션에 문제가 있는지 여부를 결정합니다. 인스턴스에서 애플리케이션이 예상대로 실행되고 있지 않은지 확인하면 상태 점검 정보와 시스템 로그를 검토합니다.

상태 확인이 실패하게 될 수 있는 문제의 예시는 Amazon EC2 인스턴스 상태 확인 섹션을 참조하세요.

상태 점검 정보 검토

상태 확인이 실패한 경우 다음 옵션 중 하나를 시도할 수 있습니다.

시스템 로그 검색

인스턴스 상태 검사가 실패할 경우 인스턴스를 재부팅하여 시스템 로그를 검색할 수 있습니다. 이 로그를 확인하여 문제 해결에 도움이 될 수 있는 오류를 밝혀 낼 수 있습니다. 재부팅하면 로그에서 필요 없는 정보가 지워집니다.

Linux 인스턴스의 시스템 로그 오류 문제 해결

Linux 인스턴스가 인스턴스 액세스 검사와 같은 인스턴스 상태 확인에 실패한 경우에는 위의 단계에 따라 시스템 로그를 가져왔는지 확인합니다. 다음 목록에는 일반적인 시스템 로그 오류와 각 오류에 대한 문제를 해결하기 위해 수행할 수 있는 권장 조치가 나와 있습니다.

메모리 오류

디바이스 오류

커널 오류

파일 시스템 오류

운영 체제 오류

메모리 부족: 프로세스 중지

메모리 부족 오류는 아래 표시된 것과 비슷한 시스템 로그 항목으로 표시됩니다.

[115879.769795] Out of memory: kill process 20273 (httpd) score 1285879
or a child 
[115879.769795] Killed process 1917 (php-cgi) vsz:467184kB, anon-
rss:101196kB, file-rss:204kB

예상 원인

메모리가 모두 사용됨

권장 조치

ERROR: mmu_update failed(메모리 관리 업데이트 실패)

메모리 관리 업데이트 실패는 다음과 비슷한 시스템 로그 항목으로 표시됩니다.

...
Press `ESC' to enter the menu... 0   [H[J  Booting 'Amazon Linux 2011.09 (2.6.35.14-95.38.amzn1.i686)'


root (hd0)

 Filesystem type is ext2fs, using whole disk

kernel /boot/vmlinuz-2.6.35.14-95.38.amzn1.i686 root=LABEL=/ console=hvc0 LANG=

en_US.UTF-8 KEYTABLE=us

initrd /boot/initramfs-2.6.35.14-95.38.amzn1.i686.img

ERROR: mmu_update failed with rc=-22

예상 원인

Amazon Linux 관련 문제

권장 조치

문제를 개발자 포럼에 게시하거나, AWS Support에 문의하세요.

I/O 오류(블록 디바이스 장애)

입/출력 오류는 다음 예와 비슷한 시스템 로그 항목으로 표시됩니다.

[9943662.053217] end_request: I/O error, dev sde, sector 52428288
[9943664.191262] end_request: I/O error, dev sde, sector 52428168
[9943664.191285] Buffer I/O error on device md0, logical block 209713024
[9943664.191297] Buffer I/O error on device md0, logical block 209713025
[9943664.191304] Buffer I/O error on device md0, logical block 209713026
[9943664.191310] Buffer I/O error on device md0, logical block 209713027
[9943664.191317] Buffer I/O error on device md0, logical block 209713028
[9943664.191324] Buffer I/O error on device md0, logical block 209713029
[9943664.191332] Buffer I/O error on device md0, logical block 209713030
[9943664.191339] Buffer I/O error on device md0, logical block 209713031
[9943664.191581] end_request: I/O error, dev sde, sector 52428280
[9943664.191590] Buffer I/O error on device md0, logical block 209713136
[9943664.191597] Buffer I/O error on device md0, logical block 209713137
[9943664.191767] end_request: I/O error, dev sde, sector 52428288
[9943664.191970] end_request: I/O error, dev sde, sector 52428288
[9943664.192143] end_request: I/O error, dev sde, sector 52428288
[9943664.192949] end_request: I/O error, dev sde, sector 52428288
[9943664.193112] end_request: I/O error, dev sde, sector 52428288
[9943664.193266] end_request: I/O error, dev sde, sector 52428288
...

예상 원인

권장 조치

I/O ERROR: neither local nor remote disk(분산된 블록 디바이스 손상)

디바이스에 대한 입/출력 오류는 다음 예와 비슷한 시스템 로그 항목으로 표시됩니다.

...
block drbd1: Local IO failed in request_timer_fn. Detaching...

Aborting journal on device drbd1-8.

block drbd1: IO ERROR: neither local nor remote disk

Buffer I/O error on device drbd1, logical block 557056

lost page write due to I/O error on drbd1

JBD2: I/O error detected when updating journal superblock for drbd1-8.

예상 원인

권장 조치

인스턴스를 종료하고 새 인스턴스를 시작합니다.

Amazon EBS 지원 인스턴스의 경우 해당 인스턴스로부터 이미지를 만들어서 최근 스냅샷에서 데이터를 복구할 수 있습니다. 스냅샷 이후에 추가된 데이터는 복구할 수 없습니다.

request_module: runaway loop modprobe(이전 Linux 버전에서 레거시 커널 modprobe 반복)

이 상태는 아래 표시된 것과 비슷한 시스템 로그로 표시됩니다. 불안정하거나 이전 Linux 커널(예: 2.6.16-xenU)을 사용하면 시작 시 무한 반복 상태가 발생합니다.

Linux version 2.6.16-xenU (builder@xenbat.amazonsa) (gcc version 4.0.1 
20050727 (Red Hat 4.0.1-5)) #1 SMP Mon May 28 03:41:49 SAST 2007

BIOS-provided physical RAM map:

 Xen: 0000000000000000 - 0000000026700000 (usable)

0MB HIGHMEM available.
...

request_module: runaway loop modprobe binfmt-464c

request_module: runaway loop modprobe binfmt-464c

request_module: runaway loop modprobe binfmt-464c

request_module: runaway loop modprobe binfmt-464c

request_module: runaway loop modprobe binfmt-464c

권장 조치

"FATAL: kernel too old" 및 "fsck: No such file or directory while trying to open /dev"(커널과 AMI 불일치)

이 상태는 아래 표시된 것과 비슷한 시스템 로그로 표시됩니다.

Linux version 2.6.16.33-xenU (root@dom0-0-50-45-1-a4-ee.z-2.aes0.internal) 
(gcc version 4.1.1 20070105 (Red Hat 4.1.1-52)) #2 SMP Wed Aug 15 17:27:36 SAST 2007
...
FATAL: kernel too old
Kernel panic - not syncing: Attempted to kill init!

예상 원인

kernel과 userland가 호환되지 않습니다.

권장 조치

"FATAL: Could not load /lib/modules" 또는 "BusyBox"(커널 모듈 누락)

이 상태는 아래 표시된 것과 비슷한 시스템 로그로 표시됩니다.

[    0.370415] Freeing unused kernel memory: 1716k freed 
Loading, please wait...
WARNING: Couldn't open directory /lib/modules/2.6.34-4-virtual: No such file or directory
FATAL: Could not open /lib/modules/2.6.34-4-virtual/modules.dep.temp for writing: No such file or directory
FATAL: Could not load /lib/modules/2.6.34-4-virtual/modules.dep: No such file or directory
Couldn't get a file descriptor referring to the console
Begin: Loading essential drivers... ...
FATAL: Could not load /lib/modules/2.6.34-4-virtual/modules.dep: No such file or directory
FATAL: Could not load /lib/modules/2.6.34-4-virtual/modules.dep: No such file or directory
Done.
Begin: Running /scripts/init-premount ...
Done.
Begin: Mounting root file system... ...
Begin: Running /scripts/local-top ...
Done.
Begin: Waiting for root file system... ...
Done.
Gave up waiting for root device.  Common problems:
 - Boot args (cat /proc/cmdline)
   - Check rootdelay= (did the system wait long enough?)
   - Check root= (did the system wait for the right device?)
 - Missing modules (cat /proc/modules; ls /dev)
FATAL: Could not load /lib/modules/2.6.34-4-virtual/modules.dep: No such file or directory
FATAL: Could not load /lib/modules/2.6.34-4-virtual/modules.dep: No such file or directory
ALERT! /dev/sda1 does not exist. Dropping to a shell!


BusyBox v1.13.3 (Ubuntu 1:1.13.3-1ubuntu5) built-in shell (ash)
Enter 'help' for a list of built-in commands.

(initramfs)

예상 원인

이 문제는 다음 상태 중 하나 이상으로 인해 발생할 수 있습니다.

권장 조치

ERROR Invalid kernel(EC2 커널이 호환되지 않음)

이 상태는 아래 표시된 것과 비슷한 시스템 로그로 표시됩니다.

...
root (hd0)

 Filesystem type is ext2fs, using whole disk

kernel /vmlinuz root=/dev/sda1 ro

initrd /initrd.img

ERROR Invalid kernel: elf_xen_note_check: ERROR: Will only load images 
built for the generic loader or Linux images
xc_dom_parse_image returned -1

Error 9: Unknown boot failure

  Booting 'Fallback'
  
root (hd0)

 Filesystem type is ext2fs, using whole disk

kernel /vmlinuz.old root=/dev/sda1 ro

Error 15: File not found

예상 원인

이 문제는 다음 상태 중 하나 또는 두 가지 모두로 인해 발생할 수 있습니다.

권장 조치

fsck: No such file or directory while trying to open... (파일 시스템을 찾을 수 없음)

이 상태는 아래 표시된 것과 비슷한 시스템 로그로 표시됩니다.

		Welcome to Fedora 
		Press 'I' to enter interactive startup.
Setting clock : Wed Oct 26 05:52:05 EDT 2011 [  OK  ]

Starting udev: [  OK  ]

Setting hostname localhost:  [  OK  ]

No devices found
Setting up Logical Volume Management: File descriptor 7 left open
  No volume groups found
[  OK  ]

Checking filesystems
Checking all file systems.
[/sbin/fsck.ext3 (1) -- /] fsck.ext3 -a /dev/sda1 
/dev/sda1: clean, 82081/1310720 files, 2141116/2621440 blocks
[/sbin/fsck.ext3 (1) -- /mnt/dbbackups] fsck.ext3 -a /dev/sdh 
fsck.ext3: No such file or directory while trying to open /dev/sdh

/dev/sdh: 
The superblock could not be read or does not describe a correct ext2
filesystem.  If the device is valid and it really contains an ext2
filesystem (and not swap or ufs or something else), then the superblock
is corrupt, and you might try running e2fsck with an alternate superblock:
    e2fsck -b 8193 <device>

[FAILED]


*** An error occurred during the file system check.
*** Dropping you to a shell; the system will reboot
*** when you leave the shell.
Give root password for maintenance
(or type Control-D to continue):

예상 원인

권장 조치

파일 시스템 마운트 관련 일반 오류(마운트 실패)

이 상태는 아래 표시된 것과 비슷한 시스템 로그로 표시됩니다.

Loading xenblk.ko module 
xen-vbd: registered block device major 8

Loading ehci-hcd.ko module
Loading ohci-hcd.ko module
Loading uhci-hcd.ko module
USB Universal Host Controller Interface driver v3.0

Loading mbcache.ko module
Loading jbd.ko module
Loading ext3.ko module
Creating root device.
Mounting root filesystem.
kjournald starting.  Commit interval 5 seconds

EXT3-fs: mounted filesystem with ordered data mode.

Setting up other filesystems.
Setting up new root fs
no fstab.sys, mounting internal defaults
Switching to new root and running init.
unmounting old /dev
unmounting old /proc
unmounting old /sys
mountall:/proc: unable to mount: Device or resource busy
mountall:/proc/self/mountinfo: No such file or directory
mountall: root filesystem isn't mounted
init: mountall main process (221) terminated with status 1

General error mounting filesystems.
A maintenance shell will now be started.
CONTROL-D will terminate this shell and re-try.
Press enter for maintenance
(or type Control-D to continue):

예상 원인

권장 조치

VFS: Unable to mount root fs on unknown-block(루트 파일 시스템 불일치)

이 상태는 아래 표시된 것과 비슷한 시스템 로그로 표시됩니다.

Linux version 2.6.16-xenU (builder@xenbat.amazonsa) (gcc version 4.0.1 
 20050727 (Red Hat 4.0.1-5)) #1 SMP Mon May 28 03:41:49 SAST 2007
...
Kernel command line:  root=/dev/sda1 ro 4
...
Registering block device major 8
...
Kernel panic - not syncing: VFS: Unable to mount root fs on unknown-block(8,1)

예상 원인

권장 조치

Error: Unable to determine major/minor number of root device... (루트 파일 시스템/디바이스 불일치)

이 상태는 아래 표시된 것과 비슷한 시스템 로그로 표시됩니다.

...
XENBUS: Device with no driver: device/vif/0
XENBUS: Device with no driver: device/vbd/2048
drivers/rtc/hctosys.c: unable to open rtc device (rtc0)
Initializing network drop monitor service
Freeing unused kernel memory: 508k freed
:: Starting udevd...
done.
:: Running Hook [udev]
:: Triggering uevents...<30>udevd[65]: starting version 173
done.
Waiting 10 seconds for device /dev/xvda1 ...
Root device '/dev/xvda1' doesn't exist. Attempting to create it.
ERROR: Unable to determine major/minor number of root device '/dev/xvda1'.
You are being dropped to a recovery shell
    Type 'exit' to try and continue booting
sh: can't access tty; job control turned off
[ramfs /]#

예상 원인

권장 조치

XENBUS: Device with no driver...

이 상태는 아래 표시된 것과 비슷한 시스템 로그로 표시됩니다.

XENBUS: Device with no driver: device/vbd/2048
drivers/rtc/hctosys.c: unable to open rtc device (rtc0)
Initializing network drop monitor service
Freeing unused kernel memory: 508k freed
:: Starting udevd...
done.
:: Running Hook [udev]
:: Triggering uevents...<30>udevd[65]: starting version 173
done.
Waiting 10 seconds for device /dev/xvda1 ...
Root device '/dev/xvda1' doesn't exist. Attempting to create it.
ERROR: Unable to determine major/minor number of root device '/dev/xvda1'.
You are being dropped to a recovery shell
    Type 'exit' to try and continue booting
sh: can't access tty; job control turned off
[ramfs /]#

예상 원인

권장 조치

... days without being checked, check forced(파일 시스템 검사 필요)

이 상태는 아래 표시된 것과 비슷한 시스템 로그로 표시됩니다.

...
Checking filesystems
Checking all file systems.
[/sbin/fsck.ext3 (1) -- /] fsck.ext3 -a /dev/sda1 
/dev/sda1 has gone 361 days without being checked, check forced

예상 원인

파일 시스템 검사 시간이 경과되었습니다. 파일 시스템 검사가 강제 실행 중입니다.

권장 조치

fsck died with exit status... (디바이스 누락)

이 상태는 아래 표시된 것과 비슷한 시스템 로그로 표시됩니다.

Cleaning up ifupdown....
Loading kernel modules...done.
...
Activating lvm and md swap...done.
Checking file systems...fsck from util-linux-ng 2.16.2
/sbin/fsck.xfs: /dev/sdh does not exist
fsck died with exit status 8
[31mfailed (code 8).[39;49m

예상 원인

권장 조치

GRUB 프롬프트(grubdom>)

이 상태는 아래 표시된 것과 비슷한 시스템 로그로 표시됩니다.

    GNU GRUB  version 0.97  (629760K lower / 0K upper memory)

       [ Minimal BASH-like line editing is supported.   For

         the   first   word,  TAB  lists  possible  command

         completions.  Anywhere else TAB lists the possible

         completions of a device/filename. ]

grubdom> 

예상 원인

권장 조치

Bringing up interface eth0: Device eth0 has different MAC address than expected, ignoring(eth0 인터페이스를 가져오는 중: eth0 디바이스의 MAC 주소가 틀려서 무시합니다). (하드 코딩된 MAC 주소)

이 상태는 아래 표시된 것과 비슷한 시스템 로그로 표시됩니다.

... 
Bringing up loopback interface:  [  OK  ]

Bringing up interface eth0:  Device eth0 has different MAC address than expected, ignoring.
[FAILED]

Starting auditd: [  OK  ]

예상 원인

AMI 구성에 하드 코딩된 인터페이스 MAC이 있습니다.

권장 조치

Unable to load SELinux Policy. Machine is in enforcing mode. Halting now(SELinux 정책을 가져올 수 없습니다. 시스템이 강제 실행 모드입니다. 중단됩니다). (잘못된 SELinux 구성)

이 상태는 아래 표시된 것과 비슷한 시스템 로그로 표시됩니다.

audit(1313445102.626:2): enforcing=1 old_enforcing=0 auid=4294967295
Unable to load SELinux Policy. Machine is in enforcing mode. Halting now.
Kernel panic - not syncing: Attempted to kill init!

예상 원인

SELinux가 오류 상태에서 활성화되었습니다.

권장 조치

XENBUS: Timeout connecting to devices(Xenbus 시간 초과)

이 상태는 아래 표시된 것과 비슷한 시스템 로그로 표시됩니다.

Linux version 2.6.16-xenU (builder@xenbat.amazonsa) (gcc version 4.0.1 
20050727 (Red Hat 4.0.1-5)) #1 SMP Mon May 28 03:41:49 SAST 2007
...
XENBUS: Timeout connecting to devices!
...
Kernel panic - not syncing: No init found.  Try passing init= option to kernel.

예상 원인

권장 조치