compiler is essentially a translater that translates one language of which the language of the programmer into a systems language.
input -> lexical analysis -> token -> syntacital analysis
Token
토큰화란? 주어진 텍스트에서 토큰(token)이라 불리는 단위로 나누는 작업을 토큰화(tokenization)이라고 한다. 토큰의 단위가 상황에 따라 다르지만, 보통 의미있는 단위로 토큰을 정의한다.
참조
https://www.youtube.com/watch?v=r6vNthpQtSI
'나의 FE피봇이야기 > Dev_Knowledge' 카테고리의 다른 글
| [Front-End]HTML에서 토큰화와 어휘분석? (0) | 2023.07.22 |
|---|---|
| [Front-End] 브라우저 엔진과 렌더링 엔진의 차이는 뭘까? (0) | 2023.07.22 |
| [Front-End]Parsing 이란 (0) | 2023.07.13 |
| [Front-End] a Web rendering Engine (0) | 2023.07.12 |
| [Machine Learning]공부해보기 (0) | 2023.04.09 |
