맥(Mac) 에 VLLM 을 설치에 대한 문서 입니다. 보통 VLLM 은 Nvidia GPU 를 가진 시스템에서 주로 설치하지만 맥에서도 사용할 수 있다. 이때 핵심은 CPU 기반 LLM 이 되도록 설치하는 것이다. Brew 설치 맥(Mac) 에 Brew 를 설치해준다. 이 brew 는 리눅스에 apt, dnf 와 같은 기능을 한다. 맥으로 포팅된 각종 프로그램들을 brew 명령어를 이용해서 설치할 수 있다. 설치만 해주는게 아니라 프로그램 업데이트 추적, 패키지 삭제 등도 함께 제공한다. brew 를 이용해서 Python3.12 를 설치해 준다. Python3.12 설치 brew 를 […]
Ai
Tensorflow 설치 오류
Python 의 pip 를 이용해서 Tensorflow 를 설치할때에 다음과 같은 오류가 날 수 있다. 2025년 4월 현재 오류가 발생 했다. 뭐라뭐라 알수 없는 오류가 나오는데, 해결책이 있다. numpy 1.x 버전 호환 문제 Tensorflow 는 현재 numpy 2.x 와 잘 호환되지 않는 것으로 보인다. numpy 는 Pandas 를 설치하면서 함게 설치가 되는 것인데, 이때에 2.x 버전이 설치된다. 따라서 numpy 2.x 를 언인스톨하고 numpy 1.x 로 설치해준다. 이렇게 하고 나서 Tensorflow 도 언인스톨을 하고 재설치 해준다. TF_ENABLE_ONEDNN_OPTS=0 문제. 이 문제는 정확하게는 다음과 […]
Ai
GenAI and LLM
AI 를 배울려면 어려운것이 용어다. 알수 없는 용어들. 기존 IT는 그래도 여기저기 주워들은(?) 게 있어서 한번 들으면 그런대로 잘 이해가 되는데, AI 분야는 한번 들었다고 해서 그게 바로 머리속에 자리잡는건 아닌듯 했다. 그래서 용어를 정리해야할 필요가 있다. GenAI Generate AI 를 줄여서 쓰는 말이다. 흔히 AI 라고하면 GenAI 를 말하는 것으로 착각하지만 불과 몇년전만 하더라도 AI 는 Specialized AI 였다. GenAI는 텍스트(Text), 이미지(Images), 오디오(Audio), 비디오(Video)와 같은 새로운 콘텐츠를 생성할 수 있는 시스템을 의미한다. Specialized AI 는 특정 태스크에 특화된 AI를 […]