오늘은 대학생 개발자의 능력 향상을 위해서 멘토링을 진행한 결과물인 PandaAPI 를 소개해보려 한다.
2년전부터 좋은 기회로 몇몇 대학교의 졸업 예정 컴퓨터 공학 관련 전공의 학생들의 졸업 프로젝트를 멘토링을 해주고 있는데.., 초년도에는 학생들이 생각보다 AI 를 활용함에 있어서 어려움도 많이 겪고, 또한 생각보다 많이 관련 서비스 구축 및 클라우드 기반 서비스들을 써보지 못한 것을 깨닫고 크게 놀랐었다.
사실 개인적으로는 컴퓨터 공학과야말로 그 어느 관련 학과보다 AI 를 적극적으로 활용하고 이미 클라우드 기반의 서비스를 활용하여 API 를 구동하고 백앤드를 구축하여 이를 바탕으로 서비스를 개발하거나 어플리케이션을 개발하기 위한 관련 학문을 배우고 있으리라 생각했기 때문..
그래서 금년에는 좀 더 미리 선행조사를 하고, 현재 졸업을 앞두고 있는 학생들에게 도움이 될 수 있는 주제와 멘토링 방식을 연구하였고, 그 중 하나가 잘 진행되어서 오늘 소개할 Panda API 서비스로 결과가 나오게 되었다.
https://github.com/Soonsoon-Factory/Panda-APIhttps://github.com/Soonsoon-Factory/Panda-API
< 동국대학교 컴퓨터공학과 재학중인 이소연 학생이 주축으로 제작하고 공개한 Panda API >
판다 API 는 기본적으로 MS 사가 서비스하고 있는 Azure 클라우드의 Azure AI Foundary 에서 사용이 가능한 API 형태의 LLM AI 서비스들을 모아서 사용할 수 있는 프록시 형태의 백앤드 구축을 위한 API 서비스이다.
물론, 이미 Azure 쪽에서 API 형태로 사용을 할 수 있는데 굳이 이게 왜 필요할까? 라고 반문하실수도 있는데, 실제로 해당 서비스를 써보면 플레이그라운드에서 벗어나서 자신의 서비스 혹은 테스트 환경에서 사용하기위해서는 end 포인트 설정과 secret 키 설정등을 또 별도로 해야하기 때문에, 이를 세팅하기위해서 어짜피 백앤드 단 혹은 로컬에서 파이썬 등으로 코드를 작성해서 테스트를 해야한다.
물론 이 과정에서 로컬에서 테스트하는 것은 크게 문제가 되지 않으나, 결과적으로 모든 서비스는 “배포” 를 목표로 생각해야하기 때문에, 이러한 엔드포인트에 대한 노출과 시크릿키를 노출 시키지 않고 서비스하는 것은 보안에 있어서 기본중에 기본.
하지만 실제로 학생들과 프로젝트를 해보니 아쉽게도 교과 과정상에서 파이썬 기반의 로컬 환경 구축 및 서비스 구동단까지는 꽤나 해봤지만, Docker 등의 방법으로 배포를 해보는 과정은 생각보다 많이 해보지 않았었다. 따라서 기본적으로 그런 배포 과정을 목표로 진행을 한다면, 이와 같이 기본의 AI 서비스들을 그대로 노출 시켜서 사용하기보다는 팀 혹은 회사 내부에서 핸들링 할 수 있는 API 서비스를 구축하고 이를 바탕으로 AI 들을 유기적으로 교체하면서 사용할 수 있는 환경을 구축하는 경험은 현재 상황에서 AI 기반의 서비스를 제작하여 배포하는 회사들에서 근무를해야할 소프트웨어엔지니어, 백앤드 개발자들에게는 필수적인 경험이라고 생각을 했다.
감사하게도 해당학생도 이 가치를 잘 이해해서 한학기동안 아주 성실하게 진행을 하여서 단 기간에 다양한 교육을 진행할 수 있었고, 그에 대한 여러 결과중에 하나가 이 Panda api 서비스.
기회가 있다면, 이번 학기에 시도했었던 멘토링의 방향, 내가 앞으로 AI 활용이 필수적인 소프트웨어 개발자들이 갖춰야할 역량으로 생각하고 수행한 프로그램들을 정리해서 공유해보려 하는데, 때마침 Panda API 가 오늘 깃 저장소를 통해서 공개되었기 때문에, 다른 내용들을 소개하기 앞서서 먼저 이런걸 했다.. 하고 공개할 수 있을 것 같다.
Panda API 는 FastAPI 기반으로 제작되었으며 MIT 라이센스 기반를 따르기 때문에 누구나 사용가능합니다.