GPU 한 대로 신경망 설계를 자동화했어

“GPU 수천 일이 들던 신경망 구조 자동설계를, 이번엔 소비자용 그래픽카드 한 대로 3시간 만에 끝냈어.” Romain Amigon이 7월 13일 arXiv에 올린 논문 얘기야. NAS(Neural Architecture Search)는 딥러닝 모델의 층을 몇 개 쌓고 어떻게 연결할지 사람이 손으로 정하는 대신, 알고리즘이 좋은 구조를 자동으로 찾아주는 기술이야. 문제는 이게 원래 GPU 수천 일(GPU-days) 규모의 계산을 잡아먹어서, 큰 회사 아니면 엄두를 못 냈어. 이 논문은 그 비용을 확 줄인 “frugal”, 그러니까 아껴 쓰는 방식을 제안해.

트랜스포머가 벌떼 탐색을 이끌어

방식은 두 가지를 붙인 거야.

  • 트랜스포머 컨트롤러: 다음에 어떤 구조를 시도할지 방향을 잡아줘.
  • 인공 벌 군집(Artificial Bee Colony): 벌떼가 먹이를 찾듯 여러 후보 구조를 동시에 탐색하는 알고리즘이야.

여기에 탐색이 너무 일찍 한 답에 몰리는 걸 막는 장치(동적 엔트로피)와, 신경망을 쓸데없이 깊게 쌓으면 벌점을 주는 규칙을 넣었어. 그래서 작고 효율적인 구조가 나와.

소비자 GPU 한 대로 낸 성적

측정은 NVIDIA RTX 3060 한 대에서 했어. 숫자로 보면 이래.

  • CIFAR-10 이미지 분류에서 약 17만 4천개 파라미터로 84.85% 정확도를 냈어. 흔히 쓰는 기준 모델인 ResNet-20보다 훨씬 작아.
  • 카드 부정거래 탐지에도 붙여서, 데이터가 한쪽으로 쏠린 상황에서 약 4,600개 파라미터로 F1 점수 0.71을 기록했어.

한 대짜리 그래픽카드로 3시간이면 나오는 수준이라, 개인이나 작은 팀도 시도해볼 만하다는 게 논문의 주장이야.

참고할 점

이건 아직 arXiv 프리프린트라 동료심사를 거치지 않았고, 저자도 한 명이야. 벤치마크 숫자는 저자가 소비자 GPU 한 대에서 자체 측정한 값이라, 독립 재현이나 다른 데이터셋 결과는 아직 없어. 그래도 큰 계산 자원 없이 신경망 구조 자동설계를 돌려보고 싶은 사람이면, 접근 방식 자체는 참고할 만해. 급하게 도입할 건 아니고, 논문 원문에서 코드 공개나 재현 결과가 붙는지 보고 판단해도 늦지 않아.