*프로젝트 경험● 실시간 영상 semantic segmentation 스마트팩토리 적용 2022.02 -1)개발 목적- 콘크리트 공장에서 주조에 사용되는 틀의 볼트 조립과 해제를 센서 기반에서 비전 ai 아키텍쳐(DeepLabV3+) 기반으로 개선하여 볼트 조립 로봇 정확도 향상2)개발 내역- ModbusTCP를 통한 멀티스레딩 기반의 데이터 읽기/쓰기 요청 수행- 산업용 기가이더넷 카메라 API를 커스터마이징하여 실시간 카메라 수신 연동작업 후, 수신한 이미지를 신경망에 통과시킬 수 있도록 파이썬 내의 numpy객체로 실시간 export 하는 모듈 개발- 한 디바이스에서 2개의 실시간 영상을 지연없이 처리할 수 있도록 멀티스레딩 및 Producer-Consumer 구조 적용- 추가 학습 데이터 확보를 위해 프로그램 구동중에도 성능에 영향을 주지 않고 별도로 원본 프레임을 jpg 파일로 저장하는 데이터 수집 스레드 실행 옵션 추가- modbus 모듈을 쓰기 전용에서 읽기 및 쓰기가 병렬로 동작하도록 가능하도록 클래스 구조를 개선, 공장 가동 중에 on/off 물리스위치를 이용해 조립해야 하는 볼트의 크기에 따라 모드를 전환하여 대응할 수 있도록 함- 다른 정밀도가 높은 부품의 조립 프로세스를 위해 segment의 centroid 계산 방식을 bounding box 좌표 기반에서 영역 내 모든 점의 좌표의 평균값으로 계산하는 것으로 개선하여 오차범위를 5mm 이내로 줄임3)개발 성과총 세 공장, 여섯 라인에 설치됨 / 추가 개발된 다른 부품의 조립 프로세스 추가 2대 설치 예정● 스마트 도로조명 플랫폼 실증연구(국가연구 실증사업) 2020.08 - 2023.04*프로젝트 개요- 도로 내 CCTV 영상을 Object Detection하여 얻은 데이터들을 분석하여 교통 위험상황을 인지*프로젝트 환경- Hardware : Nvidia Jetson Xavier NX- Software : YOLOv4 tiny(Object Detection) & DeepSort(tracking), OpenCV*프로젝트 내 역할- 프로젝트 진행 방향 및 개발 주도- 데이터 수집 및 학습을 제외하고 단독으로 응용프로그램 기능 개발 및 유지보수*프로젝트 기능 개발- 멀티스레딩을 이용한 실시간 영상 수신을 통해 감지되는 tracking object를 프레임 별로 관리 및 각종 이벤트 판단- 객체의 종류, 좌표 기록 및 도로방향의 벡터를 기반으로 도로 끝으로부터의 거리를 추적, 이를 이용한 차량의 정주행/역주행 여부 탐지 및 보행자 이벤트 판단- 이벤트 메시징을 위한 소켓 클라이언트 개발- 소프트웨어 와치독을 기존 shell script기반에서 시스템 데몬 서비스 기반으로 이관하여, 디바이스 부팅시 자동 실행/기타 문제 발생 시 자동으로 restart되도록 개선*프로젝트 성과- 이벤트 검지 정확도(Recall>0.95), 프레임 당 처리 속도 기준으로 실시한 TTA인증으로 객관 적 성능 검증 완료- 1년간 현장 테스트 및 적용 후 4월 실증사업 종료●이미지 데이터 어노테이션 서버 운영 및 관리- Computer Vision Annotation Tool(CVAT) 서버 관리 : 온프레미스 및 도커 컴포즈 기반의 컨테이너 관리 및 인프라 운영(서버 용량 등 상황에 다른 redis 옵션 조정, 사양 및 이용량에 따른 서버 리소스 운용, 오토 라벨링 기능에 적용될 코드 및 도커 이미지 구축, 딥러닝 개발 및 실행환경 구축)- CVAT SDK를 활용하여 데이터셋 일괄 등록 및 조회 기능 개발 등으로 시간비용 절감