MLPerf란 무엇입니까? AI의 최고 벤치마크 이해하기

MLPerf는 들어본 적은 있지만 (아직) 완전히 이해하지 못할 수 있는 AI 성능 벤치마크 세트입니다.

2018년 5월 공개 당시에 "SPEC for ML"로 유추된 단어에 대한 명확한 정의를 찾을 수는 없었지만 편리한 AI 비서로 답을 유추할 수 있습니다. "'MLPerf'라는 이름은 머신 러닝을 뜻하는 'ML'과 성능을 뜻하는 'Perf'의 합성어입니다."

"명명 과정에 대해 공개된 이야기는 없지만 이름만으로도 매우 잘 설명하고 있으며 벤치마크의 목적을 직접적으로 표현하기 위해 선택되었을 가능성이 높습니다." (AI에서 기대할 수 있는 답변입니다.)

실제 결과는 요점을 보여줍니다 : 지난 주, 인텔은 서버 CPU의 성능 결과를 MLPerf에 제출하는 유일한 공급 업체임이 확인되었습니다. 여기에는 인텔® 제온® 6 프로세서를 사용한 이미지 검사 및 정보 분석과 같은 일반적인 AI 작업의 성능이 포함됩니다.

AI 플레이오프 뒤에 있는 사람과 프로세스

"MLPerf는 현재 AI에 관한 한의 1위 벤치마크입니다"라고 인텔의 데이터 센터 및 AI 소프트웨어 그룹에서 근무하는 라메쉬 추카(Ramesh Chukka)는 말합니다.

라메쉬 추카(Ramesh Chukka)는 인텔 데이터 센터 및 AI 소프트웨어 그룹의 AI 소프트웨어 엔지니어링 관리자이

라메쉬 추카(Ramesh Chukka)는 인텔 데이터 센터 및 AI 소프트웨어 그룹의 AI 소프트웨어 엔지니어링 관리자이자 MLCommons 컨소시엄 이사회 멤버입니다.

자 MLCommons 컨소시엄 이사회 멤버입니다.

2020년 말에결성된 컨소시엄인 MLCommons의 이사회에서 인텔을 대표 하여 "최신 AI 및 머신 러닝 데이터 세트와 모델, 모범 사례, 벤치마크 및 메트릭의 개발 및 접근성을 발전"하기 위한 초기 MLPerf 노력을 확장해 왔습니다.

추카는 MLPerf가 "기술이 하는 것처럼 매우 빠르게 진화하는" 모든 벤치마크 자체를 언급하며 "새로운 AI 기술의 신속한 프로토타이핑"으로 이 분야를 발전시키려는 목적에 적합하다고 말합니다. 각 벤치마크는 일정 수준의 품질이 주어지면 특정 AI 작업을 얼마나 빨리 완료할 수 있는지를 측정합니다.

벤치마크는 두 가지 주요 범주로 나뉩니다: 데이터를 사용하여 AI 모델을 구축하는 교육; AI 모델이 애플리케이션으로 실행되는 추론. 대규모 언어 모델로 구성하기 위한 LLM : 학습은 LLM이 정보 모음에서 학습하는 곳이며, 추론은 무언가를 요청할 때마다 발생합니다.

MLCommons는 두 범주 각각에 대해 연간 두 세트의 벤치마크 결과를 게시합니다. 예를 들어, 인텔은 가장 최근에 지난 6월 학습 결과 와 이번 달 추론 결과를 공유했습니다.

인텔은 초기부터MLPerf(및 MLCommons)에 기여했습니다 . 인텔은 항상 두 가지 방식으로 참여해 왔습니다. 인텔 프로세서, 가속기 및 솔루션을 사용하여 벤치마크 결과를 컴파일하고 제공하는 동시에 전체 노력을 구체화하고 발전시키도록 지원합니다.

MLPerf 벤치마크가 해결하는 문제

AI 모델은 복잡한 프로그램이며, 점점 더 다양한 컴퓨터에서 AI 모델을 실행할 수 있습니다. MLPerf 벤치마크는 이러한 컴퓨터를 더 잘 비교하는 동시에 연구자와 기업이 최첨단 기술을 발전시킬 수 있도록 설계되었습니다.

각 벤치마크는 가능한 한 현실 세계를 반영하기 위한 것이며 결과는 두 분야 중 하나에 포함됩니다. "폐쇄형" 분야는 AI 모델 및 소프트웨어 스택을 제어하여 하드웨어 간 최상의 비교를 제공합니다. 즉, 각각의 서로 다른 시스템은 동일한 결과를 얻기 위해 동일한 응용 프로그램을 사용합니다(예: 자연어 처리를 위한 정확도 측정).

"개방형" 분야는 혁신을 가능하게 합니다 — 각 시스템은 원하는 것과 동일한 결과를 달성하지만 가능한 한 성능 한계를 뛰어넘을 수 있습니다.

MLPerf의 놀라운 점은 모든 것이 공유되고 벤치마크가 오픈 소스라는 것입니다. 결과는 재현 가능해야 하며 어떤 미스터리도 남을 수 없습니다. 이러한 개방성은 전력당 성능이나 비용과 같은 원시 병렬 속도를 넘어 보다 동적인 비교를 가능하게 합니다.

MLPerf의 작동 및 발전 방식

추카가 언급했듯이 MLPerf는 지속적으로 발전하고 새로운 벤치마크를 추가함으로써 그 명성을 유지하고 있습니다. 그 과정이 어떻게 일어나는지는 주로 대기업, 신생 기업 및 학계를 아우르는 MLCommons 커뮤니티 간의 공개 토론과 토론을 통해 이루어집니다.

새로운 벤치마크가 제안되고 논의된 다음, 승인된 벤치마크에는 학습을 위한 공개 데이터 세트가 필요하며, 이는 존재하거나 존재하지 않을 수 있습니다. 기여자는 자발적으로 팀을 이루어 벤치마크를 구축하고, 데이터를 식별 또는 수집하고, 벤치마크 릴리스 일정을 설정합니다.

결과를 게시하려는 모든 회사는 다음 릴리스의 기한을 준수해야 합니다. 놓치면 다음 라운드를 기다립니다.

더 빠르고 효율적인 AI를 통해 세상이 얻는 것

전 세계에서 더 많은 사람들이 반도체를 사용하여 더 많은 문제를 해결한다는 것은 인텔에 큰 이점을 가져다 주지만(영업 및 마케팅에 대한 더 많은 노력은 말할 것도 없고), 인텔이 MLPerf에 참여함으로써 얻을 수 있는 다른 이점도 있습니다.

인텔은 파이토치 및 이에 대한 확장과 같은 AI용 오픈 소스 프레임워크에 항상 기여 하고 있습니다. 인텔 엔지니어가 MLPerf 결과의 속도를 높이기 위한 작업을 통해 코드를 개선함에 따라 이러한 유형의 AI를 다운스트림에서 실행하는 모든 사람은 손가락 하나 까딱하지 않고도 이러한 개선 사항을 얻을 인텔 칩이 있습니다.

추카는 "새로운 벤치마크의 경우 항상 우리가 할 수 있는 최적화를 살펴보고 다음 몇 가지 제출물을 계속 찾고 있습니다"라고 말합니다.

추카의 팀은 인텔의 결과를 만들고 개선하기 위해 회사 전체의 조력자들을 끌어들이며, 때로는 라운드에서 라운드로 극적인 개선을 달성합니다(예: 2024년 추천 추론 결과 80% 개선, 이번 달 GPT-J 벤치마크 22% 향상).

따라서 인텔이 MLPerf의 새로운 결과를 발표했다는 소식을 들을 때마다 모든 종류의 AI 시스템이 더 빠르고 효율적이 되었다는 사실에 기뻐할 수 있습니다. 어쩌면 당신이 가장 좋아하는 LLM일 수도 있고, 새로운 프롬프트가 나올 때마다 더 빠르고 영리한 답변을 제공할 수도 있습니다.

제레미 슐츠(Jeremy Schultz)는 인텔 글로벌 커뮤니케이션 및 이벤트 팀의 편집자입니다.