Framework Software

# LLM/Vision Inference Service## 내용- LLM 및 Vision model을 On-premise cluster에서 serving하는 project## 기여- YOLOv10 model을 serving하는 endpoint 설계 및 구현- K8s 내에서 host의 GPU를 사용할 수 있도록 cluster 구성- Helm 및 K8s를 기반으로 한 CI/CD 구축## 성과- LLaMA3, GPT2, CLIP, YOLOv10 model들을 RESTful API로 serving할 수 있게 됨- 하나의 GPU를 여러 model들이 time slicing/MPS 방식으로 나눠 사용할 수 있게 됨- Helm 및 K8s를 기반으로 한 신뢰성 있는 test 및 배포 가 가능해 짐

# Machine Learning Platform DevOps## 내용- 여러 C++ project와 Python project로 이뤄진 repository의 CI/CD## 기여- multi-architecture 기반의 Docker container를 개발 환경에 도입- machine leanring을 용이하게 하기 위한 일관된 개발/배포 환경 제공## 성과- x86/ARM 및 CPU/CUDA 등 multi-architecture 환경에 대응할 수 있게 됨- container에 개발 환경을 고립시켜 모두가 동일한 환경에서 개발할 수 있게 됨

# RTP 기반 Media Server 연구/개발## 내용- WebRTC client들이 접속할 RTP 기반 media server 설계 및 구현## 기여- epoll 기반 reactor pattern의 event driven architecture 설계- listening port 하나로 여러 client들을 다루는 port muxing 기능 설계 및 구현- 종속된 context 기반 thread scheduling 기능 설계 및 구현- video SFU/MCU 및 audio mixing, media streaming 설계## 성과- client 당 UDP port를 하나씩 할당할 필요가 없어져 port의 낭비를 줄임- user-land lock을 사용할 필요가 없어져 context switching을 최소화- OWT나 Chromium를 사용하지 않고서도 독자적인 RTP 구현체를 제작

# Remote Desktop Server/Client 연구/개발## 내용- remote desktop service를 multi-platform 환경에서 제공하기 위한 server와 client 연구/개발## 기여- server 측 설계 및 구현, client 측 구현- process 내부 proactor pattern의 event driven architecture 설계 및 구현- process 간 통신 protocol 설계 및 구현- platform independent한 programming 도입## 성과- proactor pattern을 사용함으로써 Windows 및 POSIX 모두 같은 로직으로 다룰 수 있게 됨- process 간에 유연한 통신 protocol을 사용함으로써 client 측의 확장성 증대- platform dependent한 부분을 분리해 냄으로써 개발자가 주요 로직에만 집중할 수 있게 도움

# Display Server 연구/개발## 내용- X11 또는 Wayland protocol을 사용하지 않는 새로운 display server 연구/개발## 기여- Event driven 기반 IPC channel 설계 및 구현- GUI session management system 설계 및 구현- 필요한 영역만 그리도록 damage region system 구현- libdrm 기반의 graphic buffer swap chain 구현- Nvidia, QXL, VMWGFX 등 각종 graphic driver 구현## 성과- Window manager를 통합함으로써 그림을 그리는데 필요한 IPC 최소화- Session 관리를 통합함으로써 session마다 별도의 display server가 필요 없어지도록 함- Damage 관리를 통해 CPU로 그림을 그릴 때 발생하는 memory copy 최소화- 다양한 graphic card에서도 동작할 수 있도록 호환성 확보

# Window/Graphic Framework 연구/개발## 내용- Window manager와 통신하기 위해 만들어진 client-side framework 연구/개발## 기여- Widget를 통한 입력(key/mouse event)과 출력(graphic) 제어 개발- Linux epoll 기반 event manager 설계 및 구현- Pipe 기반으로 user-land lock 없이 multi-threading이 가능한 event loop 구현## 성과- 개발자가 Window manager의 protocol을 Widget를 통해 손쉽게 사용할 수 있게 됨- Reactor pattern으로 callback을 구현할 수 있게 제공함으로써 간편하게 event handling이 가능해짐- Multi-thread 환경에서 불필요한 user-land lock을 없애 효율 증대

# Google Chromium Porting## 내용- Open source browser인 Google Chromium을 FreeBSD와 Linux 기반 환경으로 porting## 기여- Google Chromium의 multi-process 기반 rendering architecture 연구- Linux ABI를 가진 shared library를 FreeBSD process에서 사용할 수 있도록 설계 및 구현- X11 또는 Wayland protocol을 사용하지 않는 새로운 display server를 사용하는 환경으로 porting- Google Chromium의 upstream을 따라갈 수 있는 방법 설계- Chromium widget 및 control을 활용한 UI개발## 성과- 새로운 platform에서 Google Chromium을 사용할 수 있게 됨- FreeBSD에서 Linux용 PPAPI Adobe Flash Player를 구동할 수 있게 됨