맥 스튜디오를 구입했읍니다.

대충 중간정도 사양인데… (M2 Max(GPU 38코어) 64GB 1TB)

일단 원래 쓰던건 M1 맥미니였다. 근데 이게 문제가 큰게 SSD용량이 256GB다보니 업데이트 할때마다 용량이 부족하니 용량 확보하고 업데이트하세요, 이래서 기왕 바꾸는거 맥스튜디오로 바꿔야지… 생각하다가 바꿨다.

사실 쓰던 맥미니가 그렇게 딸리는게 아니긴 했다. 될건 다 되긴 했는데… AI로 여러가지 해보는게 맥미니로는 좀 힘들고, 그러자고 윈도를 쓰면… 전기를 냠냠하는 것도 있고, 윈도 데탑에 꽂혀있는 3070의 VRAM이 8GB밖에 안되다보니 걸리는게 되게 많다… 돌리다가 VRAM이 모자라서 뻑난적이 한 두번이 아니다..

그래서 여러가지 해보니 확실히 비싼 값은 하더라…

일단 모델 불러오는게 윈도에 비해서 비교도 안될 정도로 빠르다.

그리고 램을 CPU와 GPU가 공유해서 사용하다보니 걍 64기가 내로 다 올릴 수 있으면 웬만한건 다 된다. ollama 설치해서 70b짜리 올려보니 램 사용량이 80%긴 해도 잘 되더라… 윈도에서는 이건 안해봤는데 일단 20GB가 넘는게 VRAM에 다 올라갈리는 없고 그렇다면 램에 올라가나? 실행이 아예 안되려나? 램에 올라간다고 치면 속도가 엄청 느릴건데… 여튼 그렇다.

CPU성능이야 뭐… 이건 그냥 M1을 쓰면서도 크게 안거슬렸던 부분이고… 내가 주로 하는 업무나 뻘짓들도 빌드를 뭉탱이로 하는 것이 아니라서 크게 문제가 없는듯. 가장 큰 문제? 궁금증은 M2의 GPU가 어느 정도 되는가였는데..

기존에 가지고 있던 애플실리콘 기기인 M1 맥미니나 M1 Pro 맥북 프로 14인치(GPU 16코어)로는… 만족할만한 성능은 안나왔고.. 특히나 맥북 프로는 랩탑이다보니 느낌상으로는 맥미니보다도 성능이나 발열이 제어가 안되는 듯 했다.

단적인 예로 간단한 Stable Diffusion을 실행시키는데도 M1이 그래픽코어가 적은 것도 있지만 맥북으로 돌렸을 때에는 90도는 그냥 넘기는 상태였다.. 내가 청소를 안해서 그런가… M1에서도 Stable Diffusion은 돌아가긴 하는데 램 16기가로는… 온전히 돌릴 수 없어서 안그래도 부족한 SSD용량 끌어서 사용해야했다… 그래도 발열은 맥미니쪽이 훨씬 적었음.

그래서 이번에 데스크톱 + 그래픽코어 38개 에 약간 많이 기대를 했는데 성능 자체는 3070보다는 별로인듯. 다만 위에서 언급한대로 VRAM으로 많이 끌어다 쓸 수 있어서 이 점은 확실히 좋음.

Stable Diffusion의 경우에 512*768 이미지 생성시 초당 1~2 이터레이션을 실행하는데 이건 참을 수 있다 쳐도, 2배 업스케일링 들어가면 이터레이션당 5초 이상이 걸려서… 이 부분은 참고 쓰는수 밖에 없을 듯..

발열 부분은… 확실히 맥북보다 훨씬 나음. 아무리 돌려도 70도를 넘지 않는다!

그러하다.