본문 바로가기

기술자료

FAISS 소개: 배경, 특징, 필요성 FAISS 소개: 배경, 특징, 필요성배경데이터의 양이 기하급수적으로 증가하면서, 대규모 데이터셋에서 유의미한 정보를 검색하는 문제는 다양한 분야에서 중요한 과제로 떠오르고 있습니다. 인공지능(AI), 추천 시스템, 검색 엔진, 계산 생물학 등 여러 응용 분야에서 유사한 요소를 식별하는 효율적인 방법이 필수적입니다. 예를 들어, 입력 이미지와 유사한 이미지를 검색하거나, 센서 데이터에서 이상 징후를 감지하거나, 데이터베이스에서 관련 기사를 찾는 경우가 이에 해당합니다.하지만 데이터셋 크기와 차원이 증가함에 따라 전통적인 유사도 검색 방법은 계산 비용이 지나치게 커지는 문제가 발생합니다. 이를 해결하기 위해 연구자들은 근사 최근접 이웃(ANN, Approximate Nearest Neighbor) 검색과 .. 더보기
위험 상황 조기 감지 및 인터랙티브 알람 생성을 위한 모의 테스트 방법 및 리빙 랩 구축 방법 위험 상황 조기 감지 및 인터랙티브 알람 생성을 위한 모의 테스트 방법 및 리빙 랩 구축 방법목표작업자 위험 감지 시스템의 효과를 검증하기 위해 모의 테스트 환경 및 **리빙 랩(Living Lab)**을 구축합니다. 이는 작업자 위험 감지 모델, 인터랙티브 알람, 페르소나 기반 시스템을 실제 상황에 가까운 환경에서 테스트하는 것을 목표로 합니다.1. 모의 테스트 방법론1단계: 시나리오 설계대표적인 시나리오 정의:페르소나 모델에 기반하여 현실적이고 빈번히 발생할 수 있는 위험 상황을 정의합니다.시나리오 1: 작업자가 이동 중 기계의 위험 구역에 접근.시나리오 2: 작업자가 화학물질 유출로 어지러움을 호소.시나리오 3: 정비 작업 중 추락 발생.시나리오 4: 자동화 로봇 팔 근처에서 발생하는 근접 경고.페.. 더보기
페르소나 모델 기법을 활용한 위험 상황 조기 감지 및 대화형 경보 생성을 위한 개발 방법개요 페르소나 모델 기법을 활용한 위험 상황 조기 감지 및 대화형 경보 생성을 위한 개발 방법개요작업자 위험 상황의 조기 감지 및 대화형 경보 생성을 위한 시스템을 구현하기 위해 페르소나 모델 기법을 사용할 수 있습니다. 이 기술에는 위험 감지 및 대응을 개인화하기 위한 자세한 작업자 프로필을 만드는 작업이 포함됩니다. 이 시스템은 오디오, 비디오, 레이더와 같은 센서의 실시간 데이터를 활용하고 사전 정의된 작업자 페르소나를 기반으로 위험 상황을 동적으로 예측하고 대응합니다.주요 개념페르소나 모델:페르소나는 일반적인 행동, 움직임, 작업, 환경적 상호 작용을 포함하는 작업자의 상세한 프로필입니다.페르소나는 역할(예: 기계 운영자, 유지보수 작업자), 신체적 능력, 위험 노출 수준에 따라 분류됩니다.대화형 경보.. 더보기
텍스트 데이터 벡터화 방법 및 작업자 위험 시나리오의 예제별 테스트 텍스트 데이터 벡터화 방법 및 작업자 위험 시나리오의 예제별 테스트목표오디오에서 추출된 텍스트 데이터를 벡터화하고, 유사한 과거 사례를 식별하거나 적절한 대응을 생성하기 위해 벡터 데이터베이스를 활용합니다. 이는 작업자 위험 상황(예: 낙상, 위험 장비 근처 접근, 유해 물질 노출)을 실시간으로 처리하고 분석하는 데 사용됩니다.테스트 설정데이터 소스:음성 인식 시스템(예: Whisper, NVIDIA Riva)으로 처리된 오디오에서 추출된 텍스트 데이터.텍스트는 작업자 위험을 설명하는 문장으로 구성됩니다.벡터화 방법:SentenceTransformers (예: all-MiniLM-L6-v2).OpenAI의 CLIP 텍스트 인코더.DistilBERT 임베딩.벡터 데이터베이스:FAISS를 사용하여 유사성 검.. 더보기
임베디드 마이크 시스템(USB)을 사용하여 Ubuntu에서 심층적인 소음 억제를 구현하는 개발 방법 및 예제 임베디드 마이크 시스템(USB)을 사용하여 Ubuntu에서 심층적인 소음 억제를 구현하는 개발 방법 및 예목적DNS(Deep Noise Suppression) 방법을 사용하여 Ubuntu 기반 플랫폼에서 USB 연결 내장형 마이크 ​​시스템용 소음 억제 솔루션을 구현합니다. 여기에는 환경 소음을 최소화하여 음성 선명도를 향상시키는 실시간 오디오 처리가 포함됩니다.개발 방법1. 개발 환경 설정Ubuntu 설치:오디오 라이브러리 및 도구와의 호환성을 위해 Ubuntu 20.04 이상을 사용하십시오.필요한 라이브러리 및 도구 설치:오디오 라이브러리:PortAudio: 크로스 플랫폼 오디오 입력/출력용.PySoundFile: 오디오 파일 조작용.Librosa: 오디오 전처리용.DNS 프레임워크:Microsoft.. 더보기
공장과 같은 시끄럽고 노이즈가 많은 환경에 적합한 오디오 처리 모델과 적용 방안 공장과 같은 시끄럽고 노이즈가 많은 환경에 적합한 오디오 처리 모델과 적용 방안  유사 성능의 음성 인식 모델 비교다양한 음성 인식 모델이 소음이 많은 환경에서 사용될 수 있지만, 성능은 모델의 설계, 훈련 데이터, 적용 환경에 따라 달라집니다. 아래는 공장과 같은 환경에서 적합할 수 있는 주요 음성 인식 모델의 성능 비교입니다.1. 성능 비교 테이블모델 주요 특징 노이즈 환경 성능 추론 속도 Edge 지원 커스텀 가능성NVIDIA Riva고성능, GPU 최적화, 멀티모달 지원★★★★★빠름 (실시간)GPU 기반 Edge 지원매우 높음OpenVINO + Kaldi가벼운 모델, 도메인별 Fine-tuning 가능★★★★☆보통 (~200ms)CPU 기반 Edge 지원매우 높음SpeechBrainPyTorch .. 더보기
rag llm 적용 방안 적용된 시스템의 예상 성능 수준1. 예상 성능 수준입력 데이터 처리실시간 데이터 처리 속도:비디오(근거리/원거리 카메라): 평균 30~50fps(프레임/초).오디오(Whisper): 텍스트 변환 속도는 1초 이하로 실시간 응답 가능.레이더/공기질 센서: 데이터 업데이트 주기 50~100ms.전처리 및 벡터 변환:입력 데이터가 벡터로 변환되는 데 평균 100~200ms 소요.벡터 검색 및 응답벡터 검색 속도:FAISS나 Milvus를 사용하면 수십만 개의 벡터 중 유사 항목 검색에 평균 10~50ms.전체 시스템 응답 시간:입력 데이터 → 벡터 변환 → 검색 → 응답 생성: 약 300~500ms.정확도 및 신뢰성위험 탐지 정확도:비디오 기반 위험 탐지: 90~95% (YOLOv8 등 최신 모델 사용 시)... 더보기
근거리 카메라, 원거리 카메라, 레이더 센서, 공기질 센서를 활용한 데이터 처리 및 분석 rag, LLM cnn 근거리 카메라, 원거리 카메라, 레이더 센서, 공기질 센서를 활용한 데이터 처리 및 분석: 상세 설명1. 입력 데이터 처리목적: 다양한 센서에서 수집한 데이터를 시스템이 이해할 수 있도록 변환하고, 이를 RAG 시스템에서 활용할 수 있도록 준비합니다.입력 데이터 종류와 전처리 방법비디오 데이터 (근거리/원거리 카메라):전처리:카메라로부터 수집한 영상 데이터를 특정 크기(예: 640x480 픽셀)로 축소하거나 자름.노이즈 제거 필터(예: Gaussian Blur)를 적용하여 분석 정확도를 높임.특징 추출:객체 검출 모델(예: YOLOv8)로 작업자, 장애물, 위험 물체 등을 식별.결과를 텍스트 데이터로 변환(예: "작업자 A가 위험 구역에 있음").레이더 데이터:전처리:레이더로부터 수집된 원시 데이.. 더보기

티스토리툴바