2비트라는 이름의 GGUF가 3비트 이름의 파일보다 컸습니다: 공개 Darwin-180B 양자화 파일 6개를 헤더까지 열어 보니

TQ2_0 이름의 파일은 92.0GB, Q3_K_S는 90.0GB였습니다. 파라미터의 28.9%가 조회용 표이기 때문입니다. GGUF 헤더를 읽어 파일 구성을 계산했습니다.

Read Original

Related

Dev.to tutorial 1h ago

Prompt Pad: What Are Tokens?

Your AI doesn't read your prompt word for word. It reads tokens. In this episode of Prompt Pad,...