Ce sunt LLM-urile necenzurate?

LLM-urile necenzurate sunt modele de limbaj cu greutăți deschise care au fost modificate pentru a reduce o parte din comportamentul de refuz întâlnit la asistenții AI standard. Îți oferă mai mult control asupra comportamentului modelului, fiind astfel deosebit de relevante pentru cei care rulează și experimentează LLM-uri local.

Ce sunt LLM-urile necenzurate?

Majoritatea asistenților AI moderni sunt antrenați să respecte reguli de siguranță și să refuze anumite solicitări. Acest comportament poate proveni din instrucțiuni de tuning, antrenament pe preferințe, system prompts și alte componente ale modelului sau aplicației.

Un LLM necenzurat este, în general, un model care a fost modificat sau antrenat pentru a reduce o parte dintre aceste comportamente de refuz. Nu există o singură definiție tehnică a termenului „necenzurat”. Diferiți creatori de modele pot folosi metode diferite, iar modelele rezultate se pot comporta destul de diferit.

Unele modele necenzurate sunt create prin fine-tuning suplimentar. Altele folosesc tehnici care modifică comportamente specifice dintr-un model existent. Termenul se poate referi și la modele descrise ca abliterated, deși abliteration este o tehnică specifică, nu un sinonim pentru orice model necenzurat.

Necenzurat nu înseamnă fără restricții

Eliminarea sau reducerea comportamentului de refuz nu face un model mai capabil. Un model necenzurat poate în continuare să genereze informații incorecte, să înțeleagă greșit instrucțiunile sau să refuze anumite solicitări.

• Capacitatea contează în continuare: Un model mai mic nu devine un raționator mai bun doar pentru că i-a fost schimbat comportamentul de refuz.
• Calitatea variază: Modelele necenzurate pot diferi semnificativ în funcție de modelul de bază și de modul în care au fost modificate.
• Comportamentul nu este garantat: Un model necenzurat poate în continuare să refuze unele solicitări sau să urmeze instrucțiunile inconsecvent.
• Comportamentul de siguranță se poate schimba: Reducerea refuzurilor poate elimina și o parte din mecanismele de protecție care au făcut parte din antrenamentul modelului original.

Prin urmare, este mai util să te gândești la „necenzurat” ca la o descriere a comportamentului unui model, nu ca la o garanție despre ce poate face modelul.

Necenzurat vs. open-weight vs. modele de bază

Acești termeni sunt adesea folosiți împreună, dar descriu aspecte diferite ale unui LLM.

Aceste categorii se pot suprapune. Un model necenzurat poate fi open-weight și bazat pe un model existent. Poate fi, de asemenea, un fine-tune sau o altă modificare a acelui model. Eticheta în sine nu explică exact cum a fost creat modelul.

De ce să rulezi local un LLM necenzurat?

Rularea locală a unui LLM necenzurat îți oferă mai mult control asupra modelului și asupra mediului său. În loc să depinzi de un serviciu AI găzduit, modelul rulează pe hardware controlat de tine.

• Control: Alegi tu modelul, software-ul de inferență și configurația.
• Confidențialitate: Prompts-urile și răspunsurile generate pot rămâne în propriul tău mediu de calcul.
• Personalizare: Modelele open-weight pot fi modificate, fine-tunate și configurate pentru diferite tipuri de workload-uri.
• Utilizare offline: Un model găzduit local nu trebuie să trimită prompts către un serviciu AI extern.
• Experimentare: Dezvoltatorii și cercetătorii pot compara diferite versiuni și modificări de modele.

Inferența locală îți oferă și control asupra hardware-ului care rulează modelul. Acest lucru devine important pe măsură ce dimensiunile modelelor cresc.

Ce hardware necesită LLM-urile necenzurate?

Modelele necenzurate au, în general, aceleași cerințe hardware ca modelul subiacent pe care se bazează. Principalii factori sunt dimensiunea modelului, cuantizarea, lungimea contextului și setările de inferență.

Un model mai mare necesită mai multă memorie decât unul mai mic. Cuantizarea poate reduce memoria necesară pentru a încărca un model, făcând modelele mai mari practice pe GPU-uri cu VRAM mai puțin.

VRAM-ul este folosit și de procesul de inferență în sine. KV cache-ul și alte date de runtime necesită memorie suplimentară, iar ferestrele de context mai lungi pot crește cantitatea de memorie necesară.

Asta înseamnă că alegerea unui model este doar o parte din planificarea unui setup local de LLM. GPU-ul trebuie să aibă suficient VRAM disponibil pentru model și pentru workload-ul pe care intenționezi să îl rulezi.

Încearcă pe DaDesktop

Dacă vrei să rulezi un LLM necenzurat fără să cumperi și să instalezi propriul hardware GPU, DaDesktop pune la dispoziție desktopuri în cloud cu resurse GPU dedicate. Poți să rulezi workload-uri LLM locale pe DaDesktop sau să compari opțiunile GPU disponibile în funcție de modelul pe care vrei să îl rulezi.