AI Heb y Hype: Canllaw Peiriannydd Sy'n Gweithio

Mae'r rhan fwyaf o gynnwys AI ar y We yn syrthio i ddwy wersyll: dinistr am syprantelligence, neu honiadau brwd na fydd chatbot yn cymryd dy swydd erbyn dydd Mawrth. Nid yw'r naill na'r llall yn dy helpu i ryddhau dim byd. Mae'r canllaw hwn yn hepgor y ddau ac yn cerdded drwy sut i ddefnyddio heddlu AI'r genhedlaeth bresennol mewn prosiectau go iawn, gyda'r terfynau wedi'u gwneud yn benodol.

Beth mae LLM yn ei wneud mewn gwirionedd

Mae model iaith fawr fel GPT-4 neu Llama 3 yn rhagfynegi'r tocyn nesaf mewn dilyniant, wedi'i hyfforddi ar symiau enfawr o destun. Dyna i gyd. Nid oes gwirydd ffaith mewnol, nid oes cof parhaus rhwng sesiynau (oni bai dy fod yn adeiladu un), ac nid oes dealltwriaeth yn y modd y mae person yn deall. Pan fyddi'n gofyn cwestiwn iddo, mae'n cynhyrchu parhad ystadegol tebygol o dy gynnig.

Mae hyn yn bwysig yn ymarferol: bydd y model yn cynhyrchu swyddogaeth Python yn hyderus sy'n galw dull llyfrgell nad yw'n bodoli, oherwydd bod y dull hwnnw'n swnio fel rhywbeth y byddai'r llyfrgell yn ei gael. Rhedeg y cod bob amser. Gwiriwch y cyfeirnod API bob amser. Trin allbwn model fel drafft cyntaf gan brentis cyflym, darllengar sy'n gelwydda weithiau heb ei wybod.

Llif gwaith go iawn: defnyddio LLM ar gyfer cod

Hyma batrwm sy'n gweithio yn lle jyst gofyn i ChatGPT i "adeiladu ap i mi":

1. Ysgrifenna'r llofnod swyddogaeth a'r docstring dy hun, gan nodi mathau ac achosion ymyl.
2. Gofyn i'r model ei weithredu yn erbyn y sbec union hwnnw.
3. Ysgrifenna dy brofion dy hun ar wahân — paid gofyn i'r model ysgrifennu profion ar gyfer cod y mae newydd ei ysgrifennu, bydd yn dueddol i ysgrifennu profion sy'n pasio'n ddibris.
4. Rhedeg y profion. Bwydo methiannau yn ôl fel cynnigion newydd, nid datganiadau niwlog "nid yw'n gweithio".

def parse_duration(text: str) -> int:
    """
    Parse strings like '1h30m', '45s', '2d' into total seconds.
    Raise ValueError on invalid input.
    """

Rhoi'r contract union hwn i'r model yn cynhyrchu allbwn llawer gwell nag disgrifiad llac, ac mae'n rhoi rhywbeth concrit i'w brofi yn ei erbyn.

Retrieval-augmented generation, mewn termau plaen

Mae RAG yn cael ei daflu o gwmpas fel gair tŷ ond mae'r mecanwaith yn syml: yn lle dibynnu ar yr hyn yr oedd y model yn ei gofio yn ystod hyfforddiant, fe fyddi'n nôl dogfennau perthnasol ar adeg ymholiad ac yn eu rhoi yn y cynnig.

Setiad sylfaenol:

1. Chunka dy ddogfennau (500-1000 tocyn yr un yw man cychwyn cyffredin).
2. Esgyn pob darn ag model fel text-embedding-3-small neu model agored fel bge-small-en.
3. Storio fectorau mewn rhywbeth fel Postgres ag pgvector, neu siop benodol fel Qdrant.
4. Ar adeg ymholiad, esgyn cwestiwn y defnyddiwr, rhedeg chwiliad tebygrwydd (pellter cosine yw'r safon), a thynnu'r darnau top-k i'r cynnig ochr yn ochr â'r cwestiwn.

SELECT content FROM docs
ORDER BY embedding <=> '[0.012, -0.045, ...]'
LIMIT 5;

Dyna pam mae chatbot a hyfforddwyd ar ddata hyd at ddyddiad toriad yn dal i allu ateb cwestiynau am dy wiki mewnol o'r wythnos ddiwethaf. Nid yw'n rhesymu am dy gwmni — mae'n darllen dy ddogfennau a'u crynhoi.

Lle mae ML clasurol yn dal i ennill

Nid yw pob problem yn angen trawsnewidwr. Os wyt ti'n rhagfynegi churn o ddata tabwlaidd strwythuredig — oed cyfrif, amledd defnydd, tocynau cymorth — model coeden a chwyrellir gradiannau fel XGBoost neu LightGBM fel arfer yn perfformio'n well nag ymagwedd seiliedig ar LLM, hyfforddiant mewn munudau yn lle oriau, a chostio ffracsiwn i redeg. Cyrchu RandomForestClassifier scikit-learn neu XGBoost cyn cyrchu galwad API, yn enwedig pan fydd dy ddata'n ffitio mewn taflen ledu a'r newidyn targed yn rhif glân neu gategori.

Mae cost a latisenedd yn gyfyngiadau cynllun, nid tafarweiniau

Mae galwad class GPT-4 yn costio arian go iawn fesul tocyn ac yn cymryd eiliadau go iawn i ddychwelyd. Os wyt ti'n adeiladu nodwedd sy'n rhedeg ar bob llwyth tudalen ar gyfer pob defnyddiwr, mae'n cymryd ei doll yn gyflym a bydd y latisenedd yn weledig. Storio'n wrthodiad, defnyddio model llai fel GPT-4o-mini neu Llama 3 8B lleol ar gyfer unrhyw beth nad oes angen rhesymu brif raddfa arno, ac wrth gefn yr alwadau model drud ar gyfer y rhannau o dy bibelinau lle mae ansawdd yn bwysig.

Y modd methiant nad yw neb yn dy rybuddio amdano

Modelau hallucinate mwy, nid llai, pan ofynni iddynt am bethau ychydig y tu allan i'w ddosbarthiad hyfforddiant — fersiynau llyfrgell ddisgur, jargon mewnol cwmni, rhifau CVE diweddar. Os oes angen i'r ateb fod yn union iawn (rhybudd diogelwch, dyfyniad cyfreithiol, dos meddygol), paid ymddiried mewn cynhyrchu yn unig. Gwirio yn erbyn ffynhonnell gynradd bob tro, ac adeiladu'r cam gwirio hwnnw i mewn i dy bibelinau yn hytrach na dibynnu arno ar adolygiad dynol ar ôl y ffaith.

Mae arf AI yn ddefnyddiol yn wir unwaith y byddi'n rhoi'r gorau i ddisgwyl iddo feddwl ac yn dechrau'i drin fel matcher patrwm cyflym y mae'n rhaid i ti ei wirio. Adeiladu'r cam gwirio i mewn o ddiwrnod un a byddi'n cael gwerth go iawn allan ohono yn lle llif o nonsens hyderus.

Os wyt ti eisiau mynd ymhellach, gwiriwch draciau Python a Data Science Korra Studio ar gyfer yr elfennau sylfaenol sy'n gwneud gweithio gyda'r offer hyn yn gynhyrchiol.