삽질

Jetson Orin Nano 개봉기 — AI 서버 만들기 첫 걸음

베타버전 선생님 2026. 5. 18. 11:43

AI 컴퓨터, 과연 교무실에서 살아남을 수 있을까?


들어가며

정보 교사로 일하다 보면 늘 이런 생각이 든다.

"교과서에서 AI를 가르치는데, 나는 AI를 제대로 써본 적이 있나?"

그래서 질렀다. NVIDIA Jetson Orin Nano Developer Kit.
박스를 받아들고 나서야 실감했다. "이걸 이제 어떻게 하지?"

이 포스팅은 그 과정을 날것 그대로 기록한 것이다.
성공담이 아니라 삽질기다.


Jetson Orin Nano가 뭔데?

NVIDIA 로고가 인상적인 박스. 뭔가 있어보인다.

 

한 마디로 "클라우드 없이 현장에서 돌아가는 AI 컴퓨터" 다.

  • GPU가 내장된 초소형 보드
  • 최대 67 TOPS AI 성능
  • 8GB 통합 메모리 (CPU·GPU 공유)
  • Ubuntu 22.04 기반
  • 가격: 약 45만 원

ChatGPT 같은 서비스는 인터넷을 통해 자체 서버에서 연산하지만,
Jetson은 이 작은 보드 자체에서 AI 추론을 돌린다.
인터넷 없이, API 비용 없이, 데이터가 외부로 나가지 않는다.


개봉기

박스를 열면 보드, 전원 어댑터, 돼지코 변환 플러그가 들어있다.

구성품은 깔끔하다.

  • Jetson Orin Nano 보드 (팬 포함)
  • 19V 전원 어댑터
  • 돼지코 플러그

빠진 것들

  • microSD 카드 ← 없으면 부팅 불가
  • DP 케이블 ← 모니터 연결용

Jetson Orin Nano는 DisplayPort 전용이라 HDMI가 안 된다는 사실을 나중에야 알았다.
USB-C로 모니터 연결하면 되겠지 했다가 보기 좋게 실패.

사용하려는 사람은 꼭 DP 케이블을 미리 구입해 두도록 하자.

나는 이것 때문에 더 이상 진행하지 못하고 개인용 데스크톱의 그래픽카드에 물려 있던 DP케이블 하나를 떼어왔다.

💡 : Jetson Orin Nano는 DisplayPort만 지원한다. USB-C로 영상 출력 안 됨.


JetPack 설치

Balena Etcher로 이미지를 굽는 중

 

JetPack은 NVIDIA가 만든 Jetson 전용 OS다.
Ubuntu 22.04 기반에 CUDA, TensorRT 등 AI 개발 도구가 미리 설치되어 있다.

설치 순서:

  1. developer.nvidia.com/embedded/jetpack 에서 JetPack 6.2.1 다운로드 (약 11GB zip)
  2. Balena Etcher로 SD카드 또는 USB에 굽기
  3. Jetson에 꽂고 부팅

처음에 JetPack 7.1을 받았다가 Orin Nano 지원 안 한다는 걸 뒤늦게 알았다.
반드시 JetPack 6.x 를 받아야 한다.

첫 부팅 후 이런 화면이 한 시간 가까이 떠있었다:

(1 of 2) a start job is running for end-user configuration...

알고 보니 초기 설정 준비 중인 정상적인 과정이었다.
그냥 기다리면 된다. (재부팅하면 더 빠르게 넘어간다)


초기 설정

Ubuntu 설치 화면이 뜨면 다음 순서로 진행한다.

항목 설정값

언어 English (오류 메시지 검색 편의)
시간대 Seoul
사용자명 comedu
로그인 방식 자동 로그인

💡 : 파티션은 따로 나눌 필요 없다. 기본값으로 진행.


원격 접속 세팅 (핵심!)

모니터는 초기 설정할 때만 필요하다.
그 이후로는 SSH로 원격 접속해서 모든 작업을 한다.

SSH 활성화

sudo systemctl enable ssh
sudo systemctl start ssh
hostname -I  # IP 확인

Tailscale 설치

같은 Wi-Fi가 아니어도 접속하려면 Tailscale이 필요하다.
학교 네트워크, 집, 카페 어디서든 동일하게 접속할 수 있다.

curl -fsSL https://tailscale.com/install.sh | sh
sudo tailscale up
# 터미널에 뜨는 링크를 브라우저에서 열어 로그인
tailscale ip  # 100.x.x.x 형태 IP 확인

이후 어디서든:

ssh comedu@100.xxx.xxx.xxx

노트북에서 젯슨에 원격 접속 성공

 


용량 문제 발생

Ollama를 설치하고 첫 모델을 받으려는 순간 오류가 났다.

Error: no space left on device
df -h
# /dev/mmcblk0p1   28G   27G   0 100% /

32GB SD카드에 JetPack이 27GB를 잡아먹어버렸다.

다른 분들은 꼭 미리 128GB 정도의 SD카드를 준비하시길.
처음부터 NVMe SSD로 시작했어야 했는데.

다음 포스팅에서 NVMe 마이그레이션 과정을 다룰 예정이다.

지금 M.2 NVMe SSD 엄청 비싼데.. 눈물을 머금고 구입할 예정이다.


현재까지 완료된 것

  • ✅ JetPack 6.2.1 설치 및 부팅
  • ✅ Ubuntu 초기 설정
  • ✅ SSH 원격 접속
  • ✅ Tailscale (어디서든 접속)
  • ✅ Ollama 설치
  • ✅ tmux 설치
  • ⬜ NVMe 마이그레이션 (다음 편)
  • ⬜ 로컬 LLM 모델 다운로드

마치며

완벽하게 준비하고 시작하려다 보면 영원히 못 한다.
일단 받아보고, 막히면 찾아보고, 그걸 기록하는 것.
그게 이 블로그가 존재하는 이유다.

다음 편에서는 NVMe로 마이그레이션하고 드디어 LLM을 돌려볼 예정이다.


"수업도 장비도 늘 베타 중. 정보 교사의 기록 실험실."
정보쌤의 실험실 | 베타버전 선생님