Context Window (euskaraz testuinguru-leiho) zera da: adimen artifizialeko eredu batek elkarrizketa edo testu batean aldi berean gogoratu edo kontuan har dezakeen gehieneko informazio-kantitatea.

Aldi baterako memoria bat da, ekintza jakin baterako erabiltzen dena.

Zer informazio du Context Windowk?

Hizkuntza-eredu estandarretan, Context Window edo testuinguru-leihoak honako hauek hartzen ditu:

  • Erabiltzaileak azkena idatzi duena

  • Elkarrizketa bereko aurreko mezuak

  • Ematen zaizkion dokumentu edo testuak

  • Sistemaren instrukzioak

Nola neurtzen den Context Window

Context Window tokenetan neurtzen da.

Oro har, 1.000 token 750 hitz ingururen baliokide dira.

Ideia bat har dezazun, GPT-4 eta halako ereduak 32.000 token ere kudeatzeko prestatuak daude; Claude, 200.000 tokenetik gora kudeatzeko; eta Gemini 1.5 Pro 2 milioi token ere prozesatzeko gai da.

Eta kopuruak goraka jarraitzen du, zeren eta, testuinguruaren leihoa zenbat eta handiagoa izan, orduan eta errazagoa baita dokumentu luzeak aztertzea, elkarrizketa luzeak izatea, testuko harreman konplexuak ulertzea eta erantzunak testuinguruan kokatzea edo agente espezializatuagoak sortzea.

Eta zer gertatzen da elkarrizketa batek testuinguru-leihoaren muga gainditzen duenean?

Koherentzia-galera nabarituko duzu, ereduak ahaztu egiten baititu hasieran emandako jarraibideak; haluzinazioak ere izango ditu, edo datuak asmatuko ditu gertatzen zaizkion hutsuneak betetzeko; eta trunkamenduak gertatuko zaizkio, eredua azken jarraibideetan soilik zentratuko baita, aurreko guztia kontuan hartu gabe.

Horregatik, AAko plataformen garatzaile handiak etengabe ari dira lanean beren ereduak azter ditzaketen tokenen kopurua handitzeko. Baina erronka tekniko oso konplexua da, konputazio-kostua esponentzialki igotzen baitu, memoria-premia handitzen baitu eta, gainera, erantzunen abiadura jaitsi baitezake.

Context Window, memoria eta entrenamendua

Context Window, esan bezala, momentuko elkarrizketaren barruko memoria tenporala da; beraz, ez da AA-memoria bera.

AA-memoria AA-sistemak erabiltzaileari edo elkarrizketari buruz gordetzen duen informazioa da, erabiltzaileak hala eskatzen badu gerora erabiltzeko baliatzen duena. Barnean har ditzake zenbait hobespen edo aurreko elkarrizketetako datu garrantzitsu batzuk.

Eta, bestetik, entrenamendua daukagu, hau da, erabili aurretik ereduak ikasten dueneko prozesua. Horretarako, datu-kopuru ikaragarriak, ikaskuntza-ereduak eta hizkuntza-patroiak erabiltzen dira.