[더구루=홍성일 기자] 엔비디아와 매사추세츠 공과대학교(MIT)가 반도체의 AI 훈련 및 추론 성능을 끌어올리는 텐서 코어의 기능을 끌어올릴 새로운 기술을 개발했다.
MIT는 지난달 30일(현지시간) 엔비디아와 함게 고성능 컴퓨팅 작업에 사용되는 데이터 구조의 일종인 희소 텐서(sparse tensors) 처리를 가속하는 2가지 기술을 개발했다고 밝혔다. MIT는 새로운 기술을 통해 대규모 머신 러닝 모델의 성능과 에너지 효율성을 크게 개선할 수 있다고 덧붙였다.
엔비디아는 1세대 볼타 텐서 코어를 시작으로 AI 반도체 성능을 강화해왔다. 엔비디아에 따르면 텐서 코어는 혼합 정밀도 행렬 곱셈으로 획기적인 성능을 보여준다. 기존 파스칼 아키텍처에 비해 최대 테라플롭스(TFLOPS)가 트레이닝에서는 12배, 추론에서는 6배가 높다는 설명이다. 텐서는 행렬을 하나씩 처리해가는 것이 아닌 3차원으로 처리해 계산속도를 끌어올렸다.
엔비디아와 MIT 연구진은 텐서에서 희소성(0값)을 효율적으로 활용하고자 했다. 텐서를 처리하는 과정에서 0값을 건너뛰면 계산 속도를 높이고 메모리를 절약할 수 있다. 예를 들어 0을 곱한 값은 모두 0이므로 해당 연산을 건너뛸 수 있기 때문이다. 또한 0은 저장할 필요가 없어 텐서를 압축할 수 있어 더 많은 부분을 메모리에 저장할 수도 있다.
하지만 텐서를 활용하는데는 몇 가지 문제가 있었다. 큰 텐서에서 0이 아닌 값을 찾는 것이 쉽지 않다는 것이다. 이에 희소성 패턴을 적용해 0이 아닌 값의 위치를 제한하는 방식을 사용하는데, 이 경우 희소 텐서의 다양성을 제한할 수 있다. 또한 텐선의 영역에 0이 아닌 값의 수가 달라질 수 있다는 점이다.
이에 엔비디아와 MIT 연구진은 0이 아닌 값을 효율적으로 찾을 수 있는 기술과 데이터가 메모리에 맞지 않는 경우를 처리할 수 있는 방법을 개발해 희소 텐서 처리 속도를 높일 수 있게 됐다고 설명했다.
MIT 관계자는 "전문적이거나 도메인에 특화된 하드웨어 가속기를 사용하며 CPU와 같은 범용 프로세서에서 얻을 수 있는 유연성을 잃게 된다"며 "이번 연구에서 주목할 점은 전문적이고 효율적이면서도 유연성과 적응성을 유지할 수 있다는 것으로 증명했다는 것"이라고 말했다.
