본문 바로가기

전체 글

 (345)
[ AI/LLM] AI는 우리가 하는 말을 이해하고 답변하는 것일까? AI의 답변은 거의 완벽에 가깝다. 그렇다면 그들은 우리의 말을 이해하고 답변하는 것 일까?결론 부터 말하면,그들은 우리의 말을 이해하는 것인 아니라 수많은 데이터를 학습을 바탕으로 다음 단어가 올 확률로 계산해 답변할 뿐이다.LLM의 결과물이 진실이나 실제 이해에 기반한 것이 아니라, 오직 '언어적 그럴듯함(linguistic plausibility)'에 근거한다는 점 출처: Epistemological Fault Lines Between Human and Artificial IntelligenceLarge language models (LLMs) are widely described as artificial intelligence, yet their epistemic profile diverges s..
[ ML/LLM ] 스케일링은 넘어 그것을 향해 (Feat.일리야 수츠케버) 일리야 수츠케버는 딥러닝 대가 제프린 힌터의 제자이며, 2015년 OpenAI를 공동 창립자이다.이번 영상에서 그는 이제 스케일링의 시대는 갔다고 말한다.이 영상에서는 현재 LLMs(여기서는 ML)이 어떻게 변화하고 있는 지 그리고 어디로 향하고 있는지를 간접적으로 느낄 수 있다.영상 :출처 : 스테이지5영상에는 많은 내용이 나오는 데 개인적으로 가장 인상적인 부분을 추려서 정리해 보았다. 새로운 시대로 진입 시작더 많은 데이터와 컴퓨팅 자원을 투입하면 성능이 향상될 것이라는 '스케일링 법칙'은 지난 몇 년간 AI 발전을 이끌어온 황금률이었지만, 이제 그 한계에 다다랐다는 것. 왜?데이터의 한계사전학습의 원동력이 었던 데이터는 이제 점점 고갈되어 가고 있다. 단순 컴퓨팅 자원을 100배로 늘린다고해서 ..
[ AI/GPU ] AI의 현재 판도는 GPU,GPU (Feat. 구글 TPU) 과거 AI와 지금의 LLMs의 가장 큰 차이는 바로 병렬 구동일 것이다.과거 AI는 if else를 처리하면서 하나 씩 하나 씩 처리해 나가는데, 지금은 GPU 때문에 그러한 일련의 과정을 한 방에 처리할 수있게 됐다. [비즈톡톡] AI 시장 흔드는 구글 TPU에 대한 진실과 오해… “GPU 시장은 더 커진다”비즈톡톡 AI 시장 흔드는 구글 TPU에 대한 진실과 오해 GPU 시장은 더 커진다 구글 TPU 확대, 엔비디아 GPU 일부 대체 전문가 GPU 독점 붕괴 아냐 역할 분화 시작 HBM 수요는 증가 삼성전자·SK하이닉스biz.chosun.com 결론그렇다면 엔비디아의 GPU 독점 구도에 지각변동이 있을까요. 결론부터 말하면 전문가들은 당장은 불가능하다는 입장입니다. 우선 구글 제미나이3가 GPU ..
[ AI/LLM ]Less is More: Recursive Reasoning with Tiny Networks(Feat. Samsung) HRM 2개의 층을 갖고 뇌와 유사한 모델의 새로운 길사람도 똑같다. 몇번의 문제를 동일하게 읽고 풀면 달라보일 때가 있다.특히 책을 읽을 때 많이 느낀다.'이 책에 이런 문장이 있었다고?'재귀적 추론(Recursive Reasoning) 동일한 문제에 계속적으로 반복 수행함으로써 높은 성과를 높인다. Less is More: Recursive Reasoning with Tiny NetworksLess is More: Recursive Reasoning with Tiny Networks Abstract Hierarchical Reasoning Model (HRM) is a novel approach using two small neural networks recursing at different fre..
[ AI/anthropic-4 ] 환각(feat. Claude 3.5 Haiku) 모델은 가끔 거짓말을 한다.그 이유는 당연하다. 왜냐하면 그는 그럴듯한 답변을 하는 확률모델이기 때문이다.모델은 사실 거짓말을 하지말라고 예방 장치가 존재한다.그럼에도 불구하고 거짓말을 하는 것은 질문에서 반은 알고 반은 모르기 때문에 알고 있다라는 버튼이 활성화되는 것이다.In this section we provide evidence that:The model contains “default” circuits that causes it to decline to answer questions.When a model is asked a question about something it knows, it activates a pool of features which inhibit this default c..
[ AI/MCP ] REFRAG: RAG 개인적으로 MCP는 아직도 LLMs에 가장 화두이다.LLMs 자체의 지식은 언제 업데이트 전까지 한계를 갖고 있기 때문이다.하지만 MCP를 활용해 외부에서 데이터를 갖고 올 경우 단순하게 외부대 데이터 99 : 내부 데이터 1로 분석을 시작하면 당연히 외부데이터 가중치가 많이 적용된다. 그런데 만약 필요한 데이터를 제거하고 거기다 속도까지 더 빨리 가져온다면?나아가 메모리에 한계가 있는데, 불필요한 데이터 덩어리가 함께 LLMs 전달된다면? 이번 논문에서는 기존 MCP의 기술적 한계를 바탕으로 데이터의 편집(?) 알고리즘을 변경함으로써,더 빠르고 더 효율적인 데이터 처리를 할 수 있다고 한다. "RAG 과정에서 일어나는 계산의 대부분은 사실 불필요하다."긴 컨텍스트 처리의 문제점긴 컨텍스트 입력은 LLM..
[ React/KaKao Map ] Marker 동기화 처리 비동기처리(의존성 배열)가 너무 안 잡혀서, promise 결국 리팩토링을 했다.LLMs가 React 철학을 들먹이며, 이건 promise로 처리할 수 없다.강경하게 진행했지만,결국 useEffect을 덕지 덕지 더불어 setTimeout을 붙여가면서 맞출려고 했으나결국, 이게 문제라면 그냥 promise로 하자고 하여 진행하였다. 문제 상황- 현상: 마커 클러스터가 표시되자마자 "반짝" 하고 사라짐 원인 분석1. useEffect 간 Race Conditionclusterer.clear()가 두 번 연속 호출되며 마커가 사라졌습니다.// ❌ 기존 코드useEffect(() => { clustererRef.current.clear() markersRef.current = teaHouses.ma..
[ AI/naver-map ]네이버 지도 API 404 오류 해결 기술 보고서 네이버 지도 API가 네이버 개발자 센터에서 네이버 클라우드 플랫폼으로 완전 이전되면서 발생한 404 오류를 분석하고 해결한 과정을 정리한 내용.다른 사람들도 네이버 지도 하다가 오류가 걸리거 같아서, 혹시나 하여 작성해본다.데이터가 여전히 과거 개발자 센터로 많이 있기 때문에 LLMs이 다 저쪽 데이터를 가져온다. 문제 상황초기 증상❌ Static Map API: 404 "URL not found"❌ Geocoding API: 404 "Not Found Exception" ❌ Reverse Geocoding API: 404 "URL not found"환경 정보Client ID: ✅ 정상 발급 및 설정Client Secret: ✅ 정상 발급 및 설정API 서비스: 네이버 클라우드 플랫폼 Maps API..
[ AI/DeepSeek-R1 ] AI가 스스로 생각하는 법을 배웠다고? 여러분이 수학 문제를 풀 때를 생각해보세요. 처음엔 선생님이 단계별로 풀이 과정을 보여주죠. "첫 번째로 이렇게 하고, 두 번째로 저렇게 해서..." 하지만 정말 수학을 잘하게 되려면 어떻게 해야 할까요? 바로 스스로 다양한 방법을 시도해보고, 틀려도 다시 도전하면서 자신만의 풀이법을 찾아가는 것이겠죠.최근 중국의 한 AI 회사가 만든 'DeepSeek-R1'이라는 인공지능이 바로 이런 방식으로 학습했다.그리고 그 연구 결과가 세계 최고 과학 저널인 Nature에 실리면서 전 세계가 주목하고 있다.기존 AI는 어떻게 배웠을까?지금까지 대부분의 AI는 마치 여러분이 모범답안을 그대로 따라 쓰는 것처럼 학습했다. 인간이 "이 문제는 이렇게 풀어야 해"라고 단계별로 보여준 수많은 예시를 보고 따라 배우는 거죠..
[ KakaoMap ] 카카오 맵 설치하는 방법 결론 부터 말씀 드리면 카카오맵도 등록만 하면 안 된다. 사용자 설정 활성화가 필요하다 카카오 맵 신청하기먼저 카카오 디벨로퍼 사이트로 들어간다.로그인을 한다.heaed에서 "앱" 을 클릭한다.+ 앱 생성을 눌러서 앱을 만든다. 앱 상세 보기이 카드를 눌러 들어가면 상세 정보를 볼 수 있다. API Key 확인하기왼쪽 매뉴를 상단에 대시보드 바로 아래 '앱'이 있다.이 앱키에서 API를 확인할 수 있다. 출력할 사이트 등록하기플랫폼 소제목을 가서 어디서 활용할 것인지를 등록해야 한다.나는 웹에서 사용하기 때문에, web을 눌러 등록했다. 아래처럼 팝업이 뜬다.로컬에서도 테스트를 할려면 로컬 정보도 넣어야 한다.이걸로 끝난줄 알고 계속 로컬에서 시도했는데, 안 됐다.나중에 카톡 개발자 알림을 보고 알았..
[ AI/anthropic-5 ] 의학분야에서의 모델 활용 모델에게 환자에 대한 정보가 제시하고진단과 치료에 도움이 될 후속 질문을 제안하도록 요청받는 예시 시나리오 연구 모델이 단어 매칭을 넘어선 개념이해 가능The model’s most likely completions are “visual disturbances,” and “proteinuria,” two key indicators of preeclampsia. 19 We noticed that the model activated a number of features that activate in contexts discussing preeclampsia and its associated symptoms. Some of these features, like the example below, activate..
[ UI/EduTech ] Bottom sheet or Centered Modal (Feat. 에듀테크 시 고민해볼 요소들) 사실 요즘 앱 UI를 많이 보고 있다. 그중 고민 요소는 많은 앱들이 Bottom sheet을 쓰는 것 같다 는 느낌이다.그래서 한 번 조사해봤다. Bottom sheet or Centered Modal물론, 누가 더 낫다고 할 수 없다. 왜냐하면 둘에 사용성이 다르기 때문이다.다만, 학습중이라는 상태라면 콘텐츠를 방해하지 않아야 하기 때문에 Bottom Sheet이 더 선호된다는 사실.A Bottom Sheet is better than a dialog/overlay(usually popup at the center).What’s special, however, of bottom sheets compared with other overlays is that they preserve substantial..

티스토리툴바