과제: 다양한 상황에서 정확하고 고품질의 코드를 생성하고, 실수를 빠르게 식별 및 수정하며,다양한 프로그래밍 스타일에 적응하고, 지시에 잘 반응하는 AI 코딩 어시스턴트의 신뢰성과 성능 강화

해결 방안:

• 개발자의 변화하는 니즈에 맞춘 IDE용 AI 코드 어시스턴트 플러그인
• 성능과 정확도를 평가하기 위한 자동화 벤치마킹 시스템
• AI 생성 코드의 적합성과 정확도를 높이기 위한 고급 프롬프트 엔지니어링 기법
• IDE 플러그인의 기능적/비기능적 신뢰성을 검증하기 위한 테스트 케이스
• 이슈 관리를 위한 종합적인 분류(Triage) 시스템
• LLM이 정밀하고 맥락에 맞는 코드를 생성할 수 있도록 최적화된 프롬프트

주요 성과:

• 코드 품질 향상
• AI 어시스턴트의 반응성 개선
• 개발자 생산성 증가

CIeNET의 주요 성과 중 하나는 **Generative AI Benchmark System(GAINS)**입니다.
GAINS는 ChatGPT(OpenAI), Google Gemini, Anthropic Claude 3 등 다양한 LLM 기반 코딩 어시스턴트를 비교 평가하여 다양한 상황에서 어떻게 작동하는지를 분석합니다. 이를 통해 개선 영역을 식별하고 시스템을 미세 조정(finetuning)할 수 있습니다.

자동화된 테스트 프로세스를 통해 오류를 줄이고 도구 개발 속도를 높이며,LLM 모델의 파인튜닝은 코드 생성의 정확도와 품질을 향상시킵니다. 이러한 방식으로, GAINS는 실제 소프트웨어 환경에서 널리 사용되는 AI 기반 코딩 어시스턴트의 신뢰성과 성능을 높이고 있습니다.

통합 개발 환경(IDE) 내에서 원활히 작동할 수 있도록, 시스템은 사용자 인터페이스(UI), 백엔드 서비스, LLM 간 상호작용 전반에서 광범위한 테스트, 분류, 미세 조정 과정을 거칩니다. 버그를 수정하고 새로운 기능을 추가함으로써 기존 도구는 개발자에게 더욱 유용한 도구로 탈바꿈합니다. 프롬프트 제공 방식을 개선하는 것도 이러한 AI 도구의 효율을 한층 높이는 데 기여하고 있습니다.

CIeNET은 Python, Java, Go, C++, JavaScript 등의 다양한 언어를 사용하고, Gemini, Copilot, CodeWhisperer 같은 플러그인을 Visual Studio Code, JetBrains 등 다양한 IDE에 통합하여 활용했습니다.

Methods Analytics는 Python을 사용해 NLP 파이프라인을 개발하여 고객 불만 텍스트를 분석하고 주요 주제를 식별했습니다. 텍스트 분류기는 불만, 우려, 칭찬을 구분하며, **NER(개체명 인식)**을 통해 관련 인물 및 부서를 식별합니다. 식별된 주제와 개체는 **의료 지식 베이스(UMLS)**를 기반으로 보강됩니다. Power BI는 대시보드 개발 및 리포팅에 사용되며, 전체 솔루션은 웹 애플리케이션에 통합되어 불만 분류 프로세스를 간소화하고 사용자 인터페이스를 제공합니다.

이러한 개선은 개발자와 고객 모두에게 실질적인 차이를 만들어 냅니다. 새로운 도구는 AI가 실제 문제를 더 잘 이해하고, 보다 정확하고 유용한 제안을 할 수 있도록 해줍니다. 이로 인해 개발자는 반복적인 문제 해결에 소요되는 시간을 줄이고, 보다 창의적이고 중요한 작업에 집중할 수 있습니다.

CIeNET의 생성형 AI 통합 전문성은 맞춤형 솔루션이 어떻게 생산성을 높이고 소프트웨어 엔지니어링 프로세스를 효율화할 수 있는지를 보여줍니다. LLM의 신뢰성, 프롬프트 최적화, 테스트 자동화 등의 문제를 해결함으로써, CIeNET의 생성형 AI 연구는 복잡한 문제 해결을 돕는 스마트한 기술의 기반을 마련하고 있습니다. 핵심은 이러한 도구들이 신뢰할 수 있고 사용자 친화적이어야 한다는 점이며, 이 솔루션들은 코딩뿐만 아니라 다른 분야에서도 활용 가능성을 갖고 있습니다.