După încercări multiple, nu reusite, am găsit un model AI care merge cu mai putine resurse si se misca destul de bine, chiar si cu limba română. Am reusit sa extrag din fisele disciplinelor in format word o lista cu denumirea disciplinei, codul si continuturile. a durat 2 ore pe un Alienware Aurora R14 cu Ryzen 9 5900x, RTX 3090, 24GB VRAM. Software: LM Studio.
Am urmat instructiunile din youtube-ul de mai jos. Modelul se cheamă Qwen3.8-27B-GSQ-RCO-IQ3_S-mtp. Despre MTP vă spune prietenul:
MTP = Multi-Token Prediction. Un model de limbaj obișnuit prezice un singur token (bucată de cuvânt) la fiecare pas. Cu MTP, modelul învață să prezică mai mulți tokeni următori deodată. Beneficiile sunt:
- generare mai rapidă la inferență (decodare speculativă): modelul propune câțiva tokeni dintr-un foc, iar apoi îi verifică. Fiind verificați, calitatea rămâne aceeași.
- antrenare mai eficientă, pentru că modelul primește mai mult semnal de învățare pe fiecare poziție, iar uneori iese și mai bun la cod și raționament;
Sursa obiectelor 3D: morcovii – formidabelt, bol si betisoare – gortgortgortgrot
0
0