Overman

STT(Sound To Text) 기능을 구현하기 위하여 모델 학습을 계획했다. 학교에서 지원해주는 사업단의 GPU 서버를 할당 받아 해당 서버에서 모델 학습 및 데이터 처리를 진행하는 것으로 계획하였다. GPU 서버의 스펙은 다음과 같다.환경- GPU : RTX 3090 1개- CUDA : 11.8- Python : 3.8- Pytorch : 2.4.1- 유저당 100GB 학습에 사용할 데이터 셋은 한국어 음성 데이터 셋으로 용량 72.04GB 짜리 AI HUB 데이터 셋이다. (https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=realm&dataSetSn=123) 여기서 하나 문제가 생긴 게 해당 데..

음성인식 2025. 4. 17. 17:40

해당 내용은 [FastAPI] (STT 기능 API 만들기)음성인식 데이터 처리 (WAV to PCM) #1 과 이어진다. 보통 혼자 개발을 하여 따로 git 저장소에 대해서 생각을 안하였다. (그래도 .gitignore 파일을 까먹고 안올리지는 않았다.)이번에 실수로 .gitignore을 만들지 않고 local git에 commit 했는데 갑자기 7천 개 내용이 변동 사항으로 commit 되어서 순간 당황하였다.확인한 결과 .gitignore 을 추가하지 않았다.보통의 경우 가상환경(venv etc...)등에 대해서 설정과 관련된 코드 부분을 함께 작업하는 모두가 공유하지는 않는다. (하더라도 버전만 맞출 것이다.)그리하여 가상환경 전체를 push하는 것이 아닌 필요한 환경 설정의 경우 requirem..

음성인식 2025. 4. 16. 20:23

Nyquist's Sampling Theorem 신호의 최대 주파수의 2배 이상으로 샘플링하면 원래 신호를 완벽히 복원할 수 있다.- 나이퀴스트 주파수보다 높은 주파수 성분은 재구성된 신호에서 사라진다 -> 샘플링 속도가 충분히 높지 않으면 고주파 성분이 손실된다는 것을 의미한다 Oversampling / Undersampling오버 샘플링 : 나이퀴스트 주파수의 2배 이상으로 샘플링하는 경우 - 주파수 응답이 매 2π 주기마다 반복 - F_s = 1/T > 2F_N 일 때, 주파수 스펙트럼들 사이에 간격이 생겨 서로 겹치지 않음언더 샘플링 : 나이퀴스트 주파수의 2배 미만으로 샘플링하는 경우 - 주파수 응답이 서로 겹치게 되어 일부 정보가 손실 - F_s = 1/T  (a) 원본 신호 x_a(t)의 대..

음성인식 2025. 3. 21. 16:56

저역 통과 필터 (low-pass)- 차단 주파수 (fc) 이하의 낮은 주파수는 통과- 정지 주파수 (fs) 이상의 높은 주파수는 차단- 통과 대역(passband)과 정지 대역(stopband)이 표시 고역 통과 필터 (high-pass)- 차단 주파수 이상의 높은 주파수는 통과- 정지 주파수 이하의 낮은 주파수는 차단- 저역 통과 필터와 반대 특성을 가짐 대역 통과 필터 (bandpass)- 특정 주파수 범위(f1~f2)만 통과시킴- 중심 주파수 f0를 기준으로 일정 대역폭 (B.W.)의 신호만 통과- 대역 외 주파수는 차단 노치 필터 (notch)- 특정 주파수 범위 (f1~f2)만 차단 - 중심 주파수 f0를 기준으로 일정 대역폭 (B.W.)의 신호를 제거- 대역 통과 필터와 반대 특성을 가짐 (..

음성인식 2025. 3. 21. 15:50

Q. 신호를 변경하는 이유는?A. 다른 Domain의 신호를 이해하기 위해서- Spectral 구성요소의 분석이 가능하다.원본은 GIF였음- 움직임을 보면 5가지의 특징 움직임을 가진다- 기존 음성 그래프를 5가지의 합으로 표현한 형태 (vector) 5가지 색깔 원은 각각 다른 주파수와 진폭을 가진 복소 지수 함수 (sin / cos)- 각각 특정 주파수의 성분을 나타냄- 원의 크기는 해당 주파수 성분의 진폭을 나타냄- 원의 회전 방향과 속도는 해당 성분의 주파수- 원들의 중심을 연결한 선은 각 주파수 성분의 벡터 합을 보여줌 해당 주파수 성분을 모두 더하면 time domain 에 보이는 복잡한 파형이 만들어진다 FFT(Fast Fourier Transform)- Spectral Domain의 신호를..

음성인식 2025. 3. 20. 19:28

음성 신호는 연속적으로 변화하는 패턴 / 파형이다. 그리하여 연속적 신호를 샘플링하여야 컴퓨터를 통하여 활용할 수 있다.b(b)의 그래프를 보게 되면 점이 계속해서 찍혀있고 y축에 평행한 선들이 그어져 있는 것을 확인할 수 있다. 이처럼 연속적인 신호를 이산적 데이터로 샘플링 한 것을 알 수 있다. Nyquist's Sampling Theory (나이퀴스트 샘플링 이론)해당 식으로 확인 가능한 것은, 신호를 정확히 복원하기 위해서는 최고 주파수의 최소 2배 이상의 속도로 샘플링해야 한다는 것이다.그 이유는, 2배 이상으로 샘플링하지 않으면 aliasing 이라는 현상이 발생한다.해당 현상이 일어나면, 신호 왜곡(고주파 성분->저주파 성분으로 해석), 정보 손실(일부 주파수 성분이 손실), 겹침 현상 (주..

음성인식 2025. 3. 13. 21:04