생성형 AI 시대, 메모리 비용 문제를 해결할 새로운 기술이 등장했어요.
키오시아가 개발한 AiSAQ 기술이 오픈소스 벡터 데이터베이스 밀버스(Milvus) 2.6.4 버전에 공식 통합됐어요. 이 소식이 왜 중요한지, 차근차근 풀어볼게요.
요즘 AI 업계에서 가장 뜨거운 키워드 중 하나가 바로 RAG(검색 증강 생성)예요. ChatGPT 같은 대형 언어 모델이 실제로 쓸모 있는 답변을 내놓으려면, 방대한 데이터에서 관련 정보를 빠르게 찾아내는 벡터 검색 기술이 필수적이거든요.
그런데 여기에 큰 문제가 하나 있었어요. 바로 메모리 비용이에요.
기존 벡터 검색은 대부분 DRAM 메모리에 데이터를 올려놓고 처리해요. DRAM은 속도가 빠르지만 가격이 비싸고, 용량을 늘리는 데 한계가 있어요. AI 서비스 규모가 커질수록 메모리 비용이 눈덩이처럼 불어나는 거죠. 스타트업이나 중소기업 입장에서는 정말 부담스러운 문제예요.
키오시아 AiSAQ는 이 문제를 정면으로 해결해요.
핵심은 간단해요. RAG에 필요한 모든 데이터를 비싼 DRAM 대신 SSD에 저장하는 거예요. SSD는 DRAM보다 훨씬 저렴하면서도 용량 확장이 쉬워요. 키오시아가 플래시 메모리와 SSD 분야의 세계적인 선도 기업이라는 점을 생각하면, 이런 기술이 나온 게 자연스럽게 느껴지기도 해요.
물론 SSD가 DRAM보다 속도가 느리다는 건 사실이에요. 하지만 키오시아 AiSAQ는 SSD에 최적화된 알고리즘을 통해 높은 검색 정확도를 유지하면서도 실용적인 성능을 구현했다고 해요.
이번 밀버스 통합이 특별한 이유도 있어요.
밀버스는 AI 개발자들 사이에서 가장 널리 쓰이는 오픈소스 벡터 데이터베이스 중 하나예요. 여기에 키오시아 AiSAQ가 통합됐다는 건, 별도의 복잡한 설정 없이 기존 밀버스 환경에서 바로 SSD 기반 벡터 검색을 사용할 수 있다는 뜻이에요.
개발자 입장에서는 진입 장벽이 확 낮아진 셈이죠. 그냥 밀버스를 업데이트하면 되니까요.
AI 산업의 흐름도 주목해볼 만해요.
지금까지 AI 업계는 더 크고, 더 똑똑한 파운데이션 모델을 만드는 데 집중해왔어요. 하지만 이제는 트렌드가 바뀌고 있어요. 만들어진 모델을 실제 현실에서 어떻게 효율적으로, 비용 효과적으로 운영할 것인가가 핵심 과제가 된 거예요.
키오시아 AiSAQ 같은 기술은 바로 이 지점을 파고들어요. AI를 '만드는 것'에서 '잘 쓰는 것'으로 무게중심이 이동하는 시대에 딱 맞는 솔루션인 셈이에요.
참고로 키오시아는 1987년 낸드 플래시 메모리를 발명한 도시바에서 분사한 회사예요. 메모리 기술에 대한 깊은 역사와 노하우를 가지고 있죠. 이런 배경이 있기에 SSD 최적화 벡터 검색이라는 독특한 접근법이 가능했던 것 같아요.
앞으로 RAG 기반 AI 서비스가 더 많아질수록, 이런 비용 효율적인 인프라 기술의 중요성은 커질 수밖에 없어요.
직접 써보고 싶은 분들은 GitHub에서 오픈소스로 공개된 코드를 다운로드할 수 있어요. AI 인프라 비용 때문에 고민하던 분들이라면 한번 살펴볼 가치가 있을 것 같아요.
📎 관련 링크
키오시아 AiSAQ GitHub: https://github.com/kioxia-jp/aisaq-diskann
키오시아 AiSAQ 기술 발표 원문: https://www.kioxia.com/en-jp/business/news/2025/20250128-1.html
키오시아 공식 웹사이트: https://www.kioxia.com/en-jp/top.html
