TIL - 231031

CODEFUSION: A Pre-trained Diffusion Model for Code Generation Microsoft에서 ChatGPT가 20B라고 했다?! (대다나다..)ㄷㄷㄷ 코드퓨전은 대부분의 LLM 코드 생성기처럼 auto-regressive 모델이 아닌 코드 생성 diffusion model인게 흥미롭다 https://www.forbes.com/sites/forbestechcouncil/2023/02/17/is-bigger-better-why-the-chatgpt-vs-gpt-3-vs-gpt-4-battle-is-just-a-family-chat/amp/ 해당 기사를 보면, ChatGPT는 매개변수 수가 1,750억 개에서 200억개(20B) 줄어들어 GPT-3보다 빠를 뿐만 아니라 ..