TokenSHAP: Kufafanua Mifumo ya Lugha Kubwa kwa Kukadiria Thamani ya Shapley kwa Njia ya Monte Carlo

1 Utangulizi

Mifumo ya Lugha Kubwa (LLMs) imebadilisha kabisa usindikaji wa lugha asilia, ikifikia uwezo wa kiwango cha binadamu katika kazi nyingi. Hata hivyo, hali yao ya "kisanduku cheusi" inaleta changamoto kubwa za ufafanuzi, hasa katika matumizi muhimu kama vile afya na uchambuzi wa kisheria ambapo kuelewa uamuzi wa AI ni muhimu.

TokenSHAP inakabiliana na changamoto hii kwa kurekebisha thamani za Shapley kutoka kwa nadharia ya michezo ya ushirika ili kuweka umuhimu kwa tokeni au sehemu ndogo ndani ya maagizo ya kuingiza. Hii inatoa mfumo madhubuti wa kuelewa jinsi sehemu tofauti za kuingiza zinachangia jibu la modeli.

2 Kazi Zinazohusiana

2.1 Ufafanuzi Katika Masomo ya Mashine

Mbinu za ufafanuzi zimegawanyika kwa upana katika njia za kisanduku cheusi na kisanduku cheupe. Mbinu za kisanduku cheusi kama vile LIME na SHAP hutoa maelezo bila kuhitaji upatikanaji wa ndani wa modeli, huku mbinu za kisanduku cheupe kama vile ramani za umuhimu wa gradient na uenezi wa umuhimu kwa tabaka zikihitaji ujuzi kamili wa muundo wa modeli.

2.2 Ufafanuzi Katika Usindikaji wa Lugha asilia

Katika NLP, mbinu za kuona umakini zimetumika sana, lakini mara nyingi hazitoi vipimo vya kiasi vya umuhimu. Mbinu za hivi karibuni zimechunguza njia za kuweka sifa zilizoundwa mahsusi kwa mifumo ya lugha, ingawa zinakabiliana na changamoto za kuingiza kwa urefu tofauti na utegemezi wa muktadha.

3 Mbinu ya TokenSHAP

3.1 Mfumo wa Kinadharia

TokenSHAP inapanua thamani za Shapley kwa kuingiza maandishi ya urefu tofauti kwa kuchukulia tokeni kama wachezaji katika mchezo wa ushirika. Kazi ya malipo inafafanuliwa kama mfanano kati ya matokeo ya modeli na na bila sehemu ndogo maalum za tokeni.

3.2 Mbinu ya Kuchukua Sampuli za Monte Carlo

Ili kushughulikia ugumu wa hesabu, TokenSHAP inatumia kuchukua sampuli za Monte Carlo, ikibadilisha mpangilio wa tokeni kwa nasibu na kukokotoa michango ya pembezoni. Mbinu hii inaongeza ufanisi kwa urefu wa kuingiza huku ikiweka dhamana za kinadharia.

4 Utekelezaji wa Kiufundi

4.1 Uundaji wa Kihisabati

Thamani ya Shapley kwa tokeni $i$ inafafanuliwa kama:

$\phi_i = \sum_{S \subseteq N \setminus \{i\}} \frac{|S|!(|N|-|S|-1)!}{|N|!} [v(S \cup \{i\}) - v(S)]$

ambapo $N$ ni seti ya tokeni zote, $S$ ni sehemu ndogo isiyojumuisha tokeni $i$, na $v(S)$ ni kazi ya thamani inayopima ubora wa pato la modeli kwa sehemu ndogo $S$.

4.2 Algorithm na Msimbo Bandia

def tokenshap_importance(maandishi, modeli, idadi_sampuli=1000):
    tokeni = weka_tokeni(maandishi)
    n = urefu(tokeni)
    thamani_za_shapley = np.zeros(n)
    
    kwa _ katika anuwai(idadi_sampuli):
        mpangilio = mpangilio_wa_nasibu(n)
        kwa i katika anuwai(n):
            S = seti(mpangilio[:i])
            kwa_tokeni = modeli.tabiri(jumuisha_tokeni(S | {mpangilio[i]}))
            bila_tokeni = modeli.tabiri(jumuisha_tokeni(S))
            mchango_wa_pembezoni = mfanano(kwa_tokeni, bila_tokeni)
            thamani_za_shapley[mpangilio[i]] += mchango_wa_pembezoni
    
    rudisha thamani_za_shapley / idadi_sampuli

5 Matokeo ya Majaribio

5.1 Vipimo vya Tathmini

TokenSHAP ilitathminiwa kwa kutumia vipimo kuu vitatu: ulinganifu na maamuzi ya binadamu (kipimwe kwa uhusiano na alama za umuhimu zilizowekwa alama na binadamu), uaminifu (uwezo wa kuakisi tabia halisi ya modeli), na uthabiti (utulivu katika viingilio sawa).

5.2 Uchambuzi wa Kulinganisha

Majaribio katika maagizo mbalimbali na miundo ya LLM (ikiwemo GPT-3, BERT, na T5) yalionyesha ubora wa TokenSHAP ikilinganishwa na mbinu za msingi kama vile LIME na mbinu zenye msingi wa umakini. Mbinu hii ilionyesha uboreshaji wa 25% katika ulinganifu na binadamu na alama bora za uaminifu za 30% ikilinganishwa na mbinu zilizopo.

6 Uchambuzi wa Asili

TokenSHAP inawakilisha maendeleo makubwa katika ufafanuzi wa LLM kwa kuunganisha nadharia ya michezo na usindikaji wa lugha asilia. Msingi wa kinadharia wa mbinu hii katika thamani za Shapley hutoa mbinu madhubuti ya kihisabati ya kuweka sifa, ikishughulikia mapungufu ya mbinu zenye msingi wa heuristics kama vile kuona umakini. Kama vile CycleGAN ilivyoanzisha uthabiti wa mzunguko kwa tafsiri ya picha zisizo na jozi, TokenSHAP inaanzisha uthabiti katika kuweka umuhimu wa tokeni katika tofauti tofauti za kuingiza.

Mbinu ya kuchukua sampuli za Monte Carlo inaonyesha ufanisi wa kushangaza wa hesabu, ikipunguza ugumu wa kielelezo wa hesabu halisi ya thamani ya Shapley kwa viwango vitumika kwa matumizi ya ulimwengu halisi. Faida hii ya ufanisi inalinganishwa na maendeleo katika mbinu za takriban za kuhitimu zilizoonekana katika masomo ya kina ya Bayesian, kama ilivyorekodiwa katika Jarida la Utafiti wa Masomo ya Mashine. Uwezo wa mbinu hii wa kushughulikia viingilio vya urefu tofauti huutofautisha na mbinu za kitamaduni za kuweka sifa zilizoundwa kwa viingilio vya ukawaida uliowekwa.

Tathmini ya TokenSHAP katika miundo mbalimbali ya modeli inafunua maarifa muhimu kuhusu tabia ya LLM. Uboreshaji thabiti katika ulinganifu na maamuzi ya binadamu unapendekeza kuwa mbinu hii inashika dhana za kimawazo za umuhimu bora kuliko mbinu zenye msingi wa umakini. Hii inalingana na matokeo kutoka kwa kikundi cha Stanford HAI, ambacho kimesisitiza hitaji la mbinu za ufafanuzi zinazolingana na michakato ya utambuzi wa binadamu. Vipimo vya uaminifu vinaonyesha kuwa TokenSHAP inaakisi kwa usahihi zaidi hesabu halisi za modeli badala ya kutoa sababu za baadaye.

Uwezo wa kuona wa TokenSHAP unawezesha matumizi mazuri katika utatuzi wa makosa wa modeli na uhandisi wa maagizo. Kwa kutoa alama za kiasi za umuhimu, mbinu hii inapita zaidi ya tathmini za ubora zinazojulikana katika kuona umakini. Mbinu hii ya kiasi inasaidia uchambuzi wa kimfumo zaidi wa tabia ya modeli, sawa na jinsi ramani za umuhimu zilivyobadilika katika ufafanuzi wa maono ya kompyuta. Uthabiti wa mbinu hii katika viingilio sawa unapendekeza uthabiti, ikishughulikia wasiwasi kuhusu utulivu wa mbinu za ufafanuzi zilizoinuliwa katika machapisho ya hivi karibuni kutoka Kaboratori ya Sayansi ya Kompyuta na AI ya MIT.

7 Matumizi na Mwelekeo wa Baadaye

TokenSHAP ina matumizi ya haraka katika utatuzi wa makosa wa modeli, uboreshaji wa maagizo, na zana za kielimu kwa usomi wa AI. Mwelekeo wa baadaye ni pamoja na kupanua mbinu hii kwa mifumo ya aina nyingi, ufafanuzi wa wakati halisi kwa AI ya mazungumzo, na ujumuishaji na mbinu za kuhariri modeli. Mbinu hii pia inaweza kubadilishwa ili kugundua upendeleo wa modeli na kuhakikisha utumizi wa haki wa AI.

8 Marejeo

1. Lundberg, S. M., & Lee, S. I. (2017). A Unified Approach to Interpreting Model Predictions. Advances in Neural Information Processing Systems.
2. Ribeiro, M. T., Singh, S., & Guestrin, C. (2016). "Why Should I Trust You?" Explaining the Predictions of Any Classifier. ACM SIGKDD.
3. Vaswani, A., et al. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems.
4. Zeiler, M. D., & Fergus, R. (2014). Visualizing and Understanding Convolutional Networks. European Conference on Computer Vision.
5. Bach, S., et al. (2015). On Pixel-Wise Explanations for Non-Linear Classifier Decisions by Layer-Wise Relevance Propagation. PLoS ONE.