전체 글 (395) 썸네일형 리스트형 [ AI/딥러닝] CNN : 분류, 분석, 분할 CNN => 분류, 객체탐지, 분할, 출처:https://www.youtube.com/watch?v=iwCK-wXHZeU 데이터 수집 및 전처리- 주요 영상 처리 라이브러리 : Open CV, Matplotlib, Pilow- 데이터 증강을 통해 데이터셋 확보- 라벨링을 통해 Ground Truth 확보네이트워크 정의 및 학습- 이미지가 어떤 동물인지 판단 : Claasification- 이미지 내 객체가 어느 위치에 있는지 파악 : Object Detection- 이미지 내 의미 있는 부분만을 분리 : Segmentation예측 및 평가 ClassificationClassificationFeature Extractor- Convolutional Layer와 Pooling Layer를 활용한 이미지.. [ AI/딥러닝] CNN CNN1. input2. Convolutional Layer- Filter를 활용한 Convolution 연산- 입력 데이터의 특징을 추출하는 층 예시) 이미지 편집 시 filter1. Filter를 한 칸씩만 이동하며연산해야 하는가? Stride2. Convolution 연산을 여러 번 수행하면 특성 맵이 점차 작아지는 문제? Padding 3. Pooling Layer- 데이터의 공간적 특성은 유지하며 크기를 줄여주는 층- 일반적으로 Max pooling이 Average Pooling보다 좋은 성능 Fully connected Layer : DNN area4. Flatten- 다차원 데이터를 1차원으로 변경5. Hidden Layer6. Output [ AI/딥러닝] 신경망에서의 활성함수와 손실함수 신경망에서의 활성함수와 손실함수 출처:https://www.youtube.com/watch?v=Uk7EZdITt30 은닉층에서 활성함수계단함수- 전구간 기울기가 0이며, 특정구간 미분 불가- 오류역전파 알고리즘에서 사용 불가 시그모이드 함수- 기울기가 0~ 0.25로 기울기 소실 문제 발생- LSTM, GRU의 내부 메모리 Cell에서 사용 하이퍼볼릭 탄젠트- 기울기가 0~1로 기울기 소실 문제를 지연- RNN 계열의 신경망에서 사용 RELU- 기울기 소실 문제를 극복- 일반적인 대부분의 신경망에서 사용 Leaky RELL- RELU의 음수 영역으로 인한 퍼셉트론 미학습 현상 해결- 음수의 한계 값이 없어 활성화 지연 가능 GELU / ELU- 최신 논문에서 많이 사용되는 함수- 가장 뛰어나지만 컴퓨.. [ 글쓰기 ] 오히려 글쓰기의 시대(Feat. AI era) 틀리고 어설프지만 그래도 틀리고 어설프지만 글을 종종 작성해 보려고 한다. Opus와 이야기를 해보니, 단순 기록을 넘어선 글쓰기는 인식적 글쓰기라고 말해준다.‘자기 생각을 바깥에 꺼내 놓고 남의 것처럼 다룰 수 있게 만든 기술’-1839년, 사진기의 등장으로 예술계에 파장이 일렁였다.1839년 다게르가 프랑스 파리에서 실용적 사진술을 공개한다.이 파장은 예술계에서 회화에 대한 정의의 다변화를 증폭시킨다. 회화에는 다양한 주의(-ism)들이 있다.사진기 이전에는 사실주의, 낭만주의사진기 이후에는 인상주의, 표현주의, 입체주의사진기는 그들의 주의(-ism)의 색깔을 더욱더 증폭시키지 않았을까 하고 나는 생각해 본다.사진기라는 기계가 가져다주는 구체화된 주의(-ism)들.인상주의는 빛에표현주의는 색감에입체.. [ AI/딥러닝] 딥러닝이 마주하는 문제들 딥러닝이 마주하는 문제들 출처:https://www.youtube.com/watch?v=UmffvLkB0vk 1. 기울기 소실 문제- 활성함수로 시그모이드를 사용하면 층이 깊어질수록 기울기가 전파가 되지 않는 현상- 기울기가 각도가 hidden layer가 깊어길 수록 0으로 수렴하니까 극복 방안1. 극복 가능한 활성함수하이퍼볼릭 탄젠트 -> 하이퍼볼릭 탄젠트의 미불함 RELU : 0 or 1로 귀결된다. 배지 정규화Batch 단위의 학습 시, 각 Batch 별로 평균과 분산을 정규화하는 기법 Fully Connected Layer : 입력층과 은닉층이 완전히(fully) 연결되어 있다.Batch Normalization : BN층Activation Function : 출력층 신경망의 과적합No.. [ AI/시계열 분석] 시계열 분석 시계열 분석 시계열 데이터시간의 흐름에 따라 관찰된 데이터 ex)기온 데이터, 주가 데이터 등변동요인추세 변동: 장기간 걸쳐 점진적이고 지속적인 상승, 하락 상태계정 변동 : 주기적인 패턴을 가지고 반복적으로 나타나는 변동순환 변동 : 수년간의 간격을 두고 상승과 하락이 주기적으로 나타나는 변동불규칙 변동 : 명확히 설명될 수 없는 요인에 의해 발생되는 변동 전처리정산성시점에 따라 평균과 분산이 일정하지 않음, 분석한 데이터에 대하여 신뢰할 수 없음시점에 따라 평균과 분산이 일정하도록 전처리 필요=> 시계열 데이터는 시점에 따라 평균이나 분산이 변하지 않는 정산성(Stationary)을 만족해야 한다. 차분 변환 평활화 모델 학습AR- 자기자신의 과거 값이 미래를 결정하는 모델- 부분자기상관함수(.. [ AI/강화학습 ] 강화학습 강화학습 마르코프 체인마르코프 성질:과거 상태에 영향을 받지 않고 독립적으로 현재 상태로만 결정 상태전이확률:각 상태에서 다른 상태로 이동할 확률 예시과거의 경험으로 미루어 볼 때,오늘이 맑을 때 내일은 10번 중 8번 맑고오늘이 흐릴 때 내일은 10번 중 7번은 흐림질문: 이 때, 오늘 날씨가 맑을 경우 내일 날씨가 흐리고 모레 날씨도 흐릴 확률은?마르코프 성질 : 독립적 마르코프 결정 과정(MDP) 상태 S(t): t 시점에서 에이전트가 인식하고 있는 상화행동 A(t): t 시점에서 에이전트가 할 수 있는 행동보상 R(t): t 시점에서 에이전트가 행동을 할 때 얻을 수 있는 보상상태전이확률: 환경의 변화가 상태에 미치는 영향의 확률감가율: 현재에 가까운 보상일수록 보상이 크고 멁수록 보상이 적어지.. [ AI/비지도학습 ] 연관규칙 연관규칙, 항목들간의 조건-결과로 이루어지는 패턴을 발견하는 기법 출처https://www.youtube.com/watch?v=Lwgeilq7ksE 지지도 : A와 B 두 품목이 동시에 포함된 거래 비율신뢰도 : A품목이 거래될 때 B품목도 거래될 확률향상도 : A품목과 B품목의 상관성 Apriori알고리즘지지도 활용하여 어떤 연관집합이 자주 발생하는지 발견하는 알고리즘 원소 1개를 대상으로 최소 지지도 파악한다.최소 지지도가 3인 이유는 전체 7개 즉 분모가 결국 다 동일하게 7이기 때문에 분자만 생각하면 된다.apriori의 핵심의 원소개의 개수에 따라서 최소 지지도를 넘는가에 대한 질문이다. 한계점Apriori의 후보군 생성부화와 잦은 DB 스캔이 있음 극복:FP-Growth 알고리즘 트리구조를.. [ AI/비지도학습 ] 군집 계측적 군집 분석3 차원 축소 기법 출처:https://www.youtube.com/watch?v=zU2SrFFyxZY&list=PLWtr7MRpQi5DnZwe-RzaWa4zAgWvgsAOX&index=11 PCA 기법- 좌표에 선을 그어 그 점위 데이터를 나열하고 그 나열한 데이터의 분포를 파악- 좌표 2차원 => 선 1차원좌표 2차원에서 선 1차원으로 정보를 축소하면 정보는 당연히 손실단, 핵심은 PC1이 정보가 가장 적게 손실되고 축소되는 주성분분산이 결국 정보량 결국, 몇개로 최적의 축소가 해야할까에 대한 방법론: Screen Plot최적의 PC개수를 찾기 위한 주성분 개수와 분산을 비교하는 그래프하여, n차원에서 PC1과 PC2 2개로만 차원 축소 LDA: 지도학습 MDA: 거리 기반 t-SNE:국소적 군집화.. [ AI/비지도학습 ] 군집 계측적 군집 분석2 거리 기반- K-Means밀도 기반- DBScan확률 기반- 퍼지 군집화분포 기반- EM 알고리즘그래프 기반- 자기조직화지도(SOM) 출처:https://www.youtube.com/watch?v=9zprGZ-l4j4 K-Means 군집화- 각 데이터와 중심점의 거리를 측정 후 가장 가까운 그룹에 할당하여 K개의 군집으로 묶는 방법예시)1. 임의로 k = 3 설정2. 초기 중심정 3곳 설정 장점- 알고리즘의 이해와 적용이 쉬움- 데이터에 대한 사전 정보가 특별히 필요 없음단점- 초기 군집의 수를 정의하는데 어려움 => Elbow Method로 초기 값 설정 도움받음- 초기 중심점 설정에 따라 결과가 다르게 나옴- 노이즈나 이상치에 매우 민감 b/c 데이터의 평균으로 중심점을 재설정하게 되는데 노이즈.. [ AI/비지도학습 ] 군집 계측적 군집 분석 비지도학습 : 군집, 차원축소, 연관규칙 출처:https://www.youtube.com/watch?v=SZ7pVHyUUYY 군집: 계층적 군집분석응집형: 하나의 데이터를 하나의 군집으로 보고 가까운 군집끼리 병합해 나가는 방식1. 각 데이터간에 거리 계산2. 군집과 군집간에 거리 데이터간 거리 측정 방식1. 수치형 데이터- 유클리디안 거리- 맨하탄 거리- 마할라노비스 거리- 민코우스키 거리(p=1 => 맨하탄 || p=2 => 유클리디안) 2. 범주형 데이터- 자카드 유사도- 코사인 유사도 벡터란1. 특정 요소의 존재 여부(0 or 1) 로 나열한 수의 집합2. 크기와 방향을 통시에 갖고 있는 양전체 백화점 물건 전체 집합: [1,2,3,4,5]Customer A :[1,4,5]Customer B:.. [ LLM/Deepseek] 구조가 바뀌고 있다(Feat. V4.1) V4.1 어떻게 해서든 KV를 최소화 하라. prefill 8B active parameters/token, decode 16B같은 모델이라도 입력을 한꺼번에 읽는 단계(prefill)에서는 토큰당 약 8B(80억) 개 파라미터만 계산에 참여하고, 답을 한 토큰씩 생성하는 단계(decode)에서는 약 16B(160억) 개가 참여한다prefill=질문을 읽는 단계 active parameters모델 전체에 존재하는 파라미터 수가 아니라,그 토큰을 처리할 때 실제 계산에 참여하는 파라미터 수 Decoder = 답변을 만드는 단계decode 16B active parameters/token오늘오늘 날씨는오늘 날씨는 맑습니다...이처럼 다음 토큰을 하나씩 생성하는데,토큰 하나를 만들 때 약 160억 개의 파라미.. 이전 1 2 3 4 ··· 33 다음
