미 우편국(USPS)이 우편 업무 혁신을 위해 엔비디아(NVIDIA, CEO 젠슨 황)의 EGX 플랫폼 기반 엣지(edge) AI 시스템을 구축하였다.

2019년에 USPS는 1억 개가 넘는 일일 우편물의 품목을 확인하고 추적해야 했다. USPS AI 설계자인 라이언 심슨(Ryan Simpson)은 내부에서 개발하고 있던 이미지 분석 시스템을 훨씬 더 광범위하게 확장하고자 했다. 그는 USPS 우편물 처리센터에 전략적으로 배치된 엣지 AI 서버를 통해 각 센터가 생성하는 수십억 개 이미지를 분석할 수 있다고 판단했다.

데이터 사이언티스트, 엔비디아 설계자 6명을 포함한 작업자들이 3주 동안 딥 러닝 모델을 빠르게 설계했다. 이 작업을 통해 엔비디아 EGX 플랫폼으로 가동되고 있는 분산형 엣지 AI 시스템인 엣지 컴퓨팅 인프라 프로그램(ECIP)을 구축했다.

ECIP는 마치 자동화된 눈처럼 작동하는 두 번째 애플리케이션을 구동하고 있으며, 이는 비즈니스 요구사항에 맞게 우편물을 추적하고 있다. USPS 시스템을 총괄하는 HPE의 매니저 토드 쉬멜(Todd Schimmel)은 “예전에는 8명에서 10명이 한 가지 우편물을 추적하는데 며칠이 소요됐지만, 이제 한두 명이 두 시간 정도 작업하면 완료할 수 있다”라고 말했다.

컴퓨터 비전 작업은 CPU가 800개 있는 서버 네트워크로 작업 시 2주가 소요됐다. HPE 아폴로(Apollo) 6500 서버에는 엔비디아 V100 텐서(Tensor) 코어 GPU가 4개 장착되어 있는데, 이는 작업 시간을 20분 안으로 단축한다.

오늘날 각 엣지 서버는 1,000개가 넘는 매일 처리 기계에서 하루에 20TB(테라바이트) 이미지를 처리한다. 엔비디아 오픈소스 소프트웨어인 트리톤 추론 서버(Triton Inference Server)는 필요한 상황에 맞게 엣지 시스템에 AI 모델을 195개 제공한다.

USPS는 추가적으로 이미징 워크플로우를 간소화하기 위해 광학적문자판독(OCR)을 사용하는 애플리케이션이 필요했다. 쉬멜 매니저는 “과거에는 OCR을 위해서는 새로운 하드웨어와 소프트웨어를 구입해야 했으며, 퍼블릭 클라우드를 사용할 경우 클라우드에서 이미지를 가져와야 했다” “10억여 개 이미지를 다룰 경우 대역폭과 비용이 많이 소요됐다”라고 말했다.

USPS 엔지니어링 시설에 있는 엔비디아 DGX 서버에서 AI 알고리즘이 개발됐다. 쉬멜 매니저는 “구축과정이 매우 간소화됐다. 2019년 9월 계약을 체결하고, 2020년 2월 시스템 구축을 시작해 8월까지 하드웨어 부분을 완료했다. USPS는 이 과정에 매우 만족한다”고 설명했다.

ECIP의 트리톤 추론 서버는 서로 다른 버전의 GPU와 CPU를 통해 각각의 딥러닝 프레임워크를 지원하는 시스템을 위한 AI 모델의 전달을 자동화한다. 이는 거의 200대에 달하는 분산형 서버의 ECIP 네트워크와 같은 엣지 AI 시스템의 시간을 절약할 수 있다.

우편 항목을 확인하는 애플리케이션만 하더라도 각각 특정 기능을 확인하는 6개 이상 딥러닝 모델 작업을 조정해야 한다. 더불어 앞으로 더 많은 기능을 가능케 하는 추가적인 모델을 통해 앱이 더욱 개선될 전망이다.

엔비디아 EGX 플랫폼 기반 엣지 AI 시스템 대한 더 자세한 정보는 엔비디아 홈페이지에서 확인할 수 있다.