본문 바로가기

전체 글

 (400)
[컴퓨터] 기초 컴퓨터 구조 컴퓨터는 어떤 Hardware 구조를 갖고 있는가 출처:https://www.youtube.com/watch?v=mrpCc1ZnOqg 컴퓨터는 0과 1로Input -> RAM Primary Memory(RAM):주기억장차에 데이터를 쌓다 올려 놓음 CPU : 가장 일 잘하는 녀셕GPU : 사칙연산만 하는 단순 노동자(연산을 병열로 여러게 처리 가능한 녀셕들) 이벤트가 발생 시 처리 프로세스I/O 이벤트 처리 방법- 입력 시 이벤트 발생 1. Poling: CPU- 구조가 간단하고 구현이 쉬움- 불필요한 루프 실행으로 CPU 자원 낭비 2. 인터럽트(interrupt) : 입출력 장치가 CPU에 신호를 보내 작업을 요청하는 방식- 이벤트 시에만 반응하여 CPU 자원을 효율적 사용- 처리 구조가 복잡하..
[ AI/딥러닝] AI 기본 심화 Ai 모델의 발전과 응용 전이학습대량의 데이터로 학습된 모델(Pre-trained Model)을 활용하여 다른 분야에서 미세조정(Fine Tuning)을 통해 활용하는 기법장점데이터 부족 문제 해결학습 시간 단축성능 향상유연한 분야 대처 미세조정 방법 모델 전체를 재학습: 학습된 모델과 유사성이 적은 데이터 셋모델 일부 재학습: 학습된 모델과 유사성이 높은 데이터 셋출력층만 변형 후 사용 : 학습된 모델과 유사성이 높은 데이터 셋(컴퓨터 성능 자체가 부족한 경우) 멀티 모달 AI텍스트, 이미지, 음성, 영상 등 여러 형태의 데이터를 인간처럼 동시에 이해하고 처리하는 인공지능 딥러닝 경량화대규모 및 복잡한 인공지능 모델을 가벼운 형태로 변환하는 기술과 방법가지치기(Pruning), 양자화(Quant..
[ AI/딥러닝] 자연어 자연어 처리 1. 자연어 전처리2. 워드 임베딩3. 모델 학습4. 예측 및 평가 자연어 처리- 문장을 최소 단위로 분할하거나 필요 없는 단어 제거, 유사 단어 통합 등의 목적에 맞는 텍스트 정제 과정토큰화:- 의미 있는 말뭉치로 문자를 나누는 작업ex) I like apple => {"I", "like", "apple" }한국어) 철수가 책을 읽었다. =>{"철수가", "가", "책", "을", "읽었다."}한국어 코근화의 어려움 1. 조사 등이 붙어 있어 형태소 단위로 분리해야 함 2. 띄어쓰기가 일정하지 않음KoNlpy- Korean NLP in Python- 한국어 형태소 토큰화 통합 라이브 러리- 9품사(명사, 대명사, 동사, 형용사, 부사, 조사, 감탄사, 수사, 관현사)- Okt, M..
[ AI/딥러닝] Auto Encoder auto EncoderEncoder: 축소, 데이터의 특징을 압축하여 추출Decoder: 확대, 압축된 특징을 원래 데이터로 복원Latent Space = context vectore = coding => 잠재된 추축 추출된 특징- 유사한 데이터들은 Latent Space에서도 유사한 분포- Latent Space를 수정하면 새로운 데이터 생성 가능 => 유사한 분야에 있다면 새로운 데이터를 생성 가능(생성형AI) ㄴ 이미지 복원 및 생성 : 새로운 이미지 생성, 노이즈 있는 데이터 노이즈 제거 ㄴ 음악 생성 : 음악의 특징을 학습 후 새로운 음악 생성 ㄴ 자연어 처리 : 단어나 문장을 학습하여, 텍스트 생성 및 번역 ㄴ 추천 시스템 : 구매 내역을 학습 후, 새로운 제품 추천- Laten..
[ AI/딥러닝] RNN 시계열 RNN 시계열 데이터 이전 Node가 다음 Node에 영향을 미칠 때h: Hidden StateA: Cell Vanilla RNN- 가장 기본적인 구조를 가지는 RNN활성함수로 RELU를 사용하면?- 이전 상태를 가져와 반영하는 구조로 출력이 발상하는 문제 발생 : 하이퍼볼릭 탄젠트를 활성함수로 사용 => 장기 의존성 문제(Long-Term Dependency)시계열 데이터의 Time Step이 길어질수록 앞의 정보가 뒤로 충분히 전달되지 못하는 현상 Long Short Term MemoryForget Gate: 어떤 정보를 버릴지 결정Input Gate: 어떤 정보를 저장할지 결정Output Gate: 어떤 정보를 내보질지 결정 GRUReset Gate: 과거의 정보를 리셋Update Gate..
[ AI/딥러닝] CNN : 분류, 분석, 분할 CNN => 분류, 객체탐지, 분할, 출처:https://www.youtube.com/watch?v=iwCK-wXHZeU 데이터 수집 및 전처리- 주요 영상 처리 라이브러리 : Open CV, Matplotlib, Pilow- 데이터 증강을 통해 데이터셋 확보- 라벨링을 통해 Ground Truth 확보네이트워크 정의 및 학습- 이미지가 어떤 동물인지 판단 : Claasification- 이미지 내 객체가 어느 위치에 있는지 파악 : Object Detection- 이미지 내 의미 있는 부분만을 분리 : Segmentation예측 및 평가 ClassificationClassificationFeature Extractor- Convolutional Layer와 Pooling Layer를 활용한 이미지..
[ AI/딥러닝] CNN CNN1. input2. Convolutional Layer- Filter를 활용한 Convolution 연산- 입력 데이터의 특징을 추출하는 층 예시) 이미지 편집 시 filter1. Filter를 한 칸씩만 이동하며연산해야 하는가? Stride2. Convolution 연산을 여러 번 수행하면 특성 맵이 점차 작아지는 문제? Padding 3. Pooling Layer- 데이터의 공간적 특성은 유지하며 크기를 줄여주는 층- 일반적으로 Max pooling이 Average Pooling보다 좋은 성능 Fully connected Layer : DNN area4. Flatten- 다차원 데이터를 1차원으로 변경5. Hidden Layer6. Output
[ AI/딥러닝] 신경망에서의 활성함수와 손실함수 신경망에서의 활성함수와 손실함수 출처:https://www.youtube.com/watch?v=Uk7EZdITt30 은닉층에서 활성함수계단함수- 전구간 기울기가 0이며, 특정구간 미분 불가- 오류역전파 알고리즘에서 사용 불가 시그모이드 함수- 기울기가 0~ 0.25로 기울기 소실 문제 발생- LSTM, GRU의 내부 메모리 Cell에서 사용 하이퍼볼릭 탄젠트- 기울기가 0~1로 기울기 소실 문제를 지연- RNN 계열의 신경망에서 사용 RELU- 기울기 소실 문제를 극복- 일반적인 대부분의 신경망에서 사용 Leaky RELL- RELU의 음수 영역으로 인한 퍼셉트론 미학습 현상 해결- 음수의 한계 값이 없어 활성화 지연 가능 GELU / ELU- 최신 논문에서 많이 사용되는 함수- 가장 뛰어나지만 컴퓨..
[ 글쓰기 ] 오히려 글쓰기의 시대(Feat. AI era) 틀리고 어설프지만 그래도 틀리고 어설프지만 글을 종종 작성해 보려고 한다. Opus와 이야기를 해보니, 단순 기록을 넘어선 글쓰기는 인식적 글쓰기라고 말해준다.‘자기 생각을 바깥에 꺼내 놓고 남의 것처럼 다룰 수 있게 만든 기술’-1839년, 사진기의 등장으로 예술계에 파장이 일렁였다.1839년 다게르가 프랑스 파리에서 실용적 사진술을 공개한다.이 파장은 예술계에서 회화에 대한 정의의 다변화를 증폭시킨다. 회화에는 다양한 주의(-ism)들이 있다.사진기 이전에는 사실주의, 낭만주의사진기 이후에는 인상주의, 표현주의, 입체주의사진기는 그들의 주의(-ism)의 색깔을 더욱더 증폭시키지 않았을까 하고 나는 생각해 본다.사진기라는 기계가 가져다주는 구체화된 주의(-ism)들.인상주의는 빛에표현주의는 색감에입체..
[ AI/딥러닝] 딥러닝이 마주하는 문제들 딥러닝이 마주하는 문제들 출처:https://www.youtube.com/watch?v=UmffvLkB0vk 1. 기울기 소실 문제- 활성함수로 시그모이드를 사용하면 층이 깊어질수록 기울기가 전파가 되지 않는 현상- 기울기가 각도가 hidden layer가 깊어길 수록 0으로 수렴하니까 극복 방안1. 극복 가능한 활성함수하이퍼볼릭 탄젠트 -> 하이퍼볼릭 탄젠트의 미불함 RELU : 0 or 1로 귀결된다. 배지 정규화Batch 단위의 학습 시, 각 Batch 별로 평균과 분산을 정규화하는 기법 Fully Connected Layer : 입력층과 은닉층이 완전히(fully) 연결되어 있다.Batch Normalization : BN층Activation Function : 출력층 신경망의 과적합No..
[ AI/시계열 분석] 시계열 분석 시계열 분석 시계열 데이터시간의 흐름에 따라 관찰된 데이터 ex)기온 데이터, 주가 데이터 등변동요인추세 변동: 장기간 걸쳐 점진적이고 지속적인 상승, 하락 상태계정 변동 : 주기적인 패턴을 가지고 반복적으로 나타나는 변동순환 변동 : 수년간의 간격을 두고 상승과 하락이 주기적으로 나타나는 변동불규칙 변동 : 명확히 설명될 수 없는 요인에 의해 발생되는 변동 전처리정산성시점에 따라 평균과 분산이 일정하지 않음, 분석한 데이터에 대하여 신뢰할 수 없음시점에 따라 평균과 분산이 일정하도록 전처리 필요=> 시계열 데이터는 시점에 따라 평균이나 분산이 변하지 않는 정산성(Stationary)을 만족해야 한다. 차분 변환 평활화 모델 학습AR- 자기자신의 과거 값이 미래를 결정하는 모델- 부분자기상관함수(..
[ AI/강화학습 ] 강화학습 강화학습 마르코프 체인마르코프 성질:과거 상태에 영향을 받지 않고 독립적으로 현재 상태로만 결정 상태전이확률:각 상태에서 다른 상태로 이동할 확률 예시과거의 경험으로 미루어 볼 때,오늘이 맑을 때 내일은 10번 중 8번 맑고오늘이 흐릴 때 내일은 10번 중 7번은 흐림질문: 이 때, 오늘 날씨가 맑을 경우 내일 날씨가 흐리고 모레 날씨도 흐릴 확률은?마르코프 성질 : 독립적 마르코프 결정 과정(MDP) 상태 S(t): t 시점에서 에이전트가 인식하고 있는 상화행동 A(t): t 시점에서 에이전트가 할 수 있는 행동보상 R(t): t 시점에서 에이전트가 행동을 할 때 얻을 수 있는 보상상태전이확률: 환경의 변화가 상태에 미치는 영향의 확률감가율: 현재에 가까운 보상일수록 보상이 크고 멁수록 보상이 적어지..

티스토리툴바