Ένας βοηθός γνώσης που δεν φεύγει ποτέ από το κτίριό σας.

Όλοι έχουν βρεθεί σε αυτή τη συνάντηση. Κάποιος κάνει demo ένα AI που απαντά ερωτήσεις για τις πολιτικές μιας εταιρείας, σε απλή γλώσσα, με παραπομπές, και η αίθουσα σκύβει μπροστά. Μετά κάποιος κάνει τη δεύτερη ερώτηση: δηλαδή ανεβάζουμε τα συμβόλαιά μας πού ακριβώς; Και η αίθουσα γέρνει πίσω.

Και οι δύο αντιδράσεις είναι σωστές. Η ανάγκη είναι πραγματική: η γνώση μιας εταιρείας ζει σε συμβόλαια, tickets, wikis, φακέλους υποθέσεων και κώδικα, και σχεδόν τίποτα από αυτά δεν απαντιέται χωρίς έναν άνθρωπο να σκάψει. Το κόλλημα είναι επίσης πραγματικό: αυτή η ίδια γνώση είναι το πιο ευαίσθητο πράγμα που έχει η εταιρεία, και το «στείλτε τα σε ένα API» δεν είναι πρόταση που θα υπογράψει η νομική υπηρεσία. Το κομμάτι που σχεδόν κανείς στην αίθουσα δεν ξέρει είναι ότι τα δύο δεν συγκρούονται πια. Ολόκληρη η αλυσίδα που κάνει τα έγγραφα απαντήσιμα μπορεί να τρέξει σε ένα μηχάνημα, σε ένα rack, κάτω από μία δικαιοδοσία, χωρίς τίποτα να φεύγει.

Τι είναι πραγματικά ένας βοηθός γνώσης

Αφαιρέστε τη λατρεία των ακρωνυμίων και ο μηχανισμός είναι απλός. Τα έγγραφά σας χωρίζονται σε αποσπάσματα και κωδικοποιούνται σε embeddings, αριθμητικά αποτυπώματα νοήματος. Αυτά τα αποτυπώματα ζουν σε μια vector database. Όταν κάποιος κάνει μια ερώτηση, η ερώτηση κωδικοποιείται με τον ίδιο τρόπο, η βάση βρίσκει τα αποσπάσματα με το πλησιέστερο νόημα, και το μοντέλο απαντά από αυτά τα αποσπάσματα, παραπέμποντας σε ό,τι χρησιμοποίησε. Ο κλάδος το λέει retrieval-augmented generation. Το σημαντικό είναι τι συνεπάγεται: το μοντέλο δεν απομνημονεύει το αρχείο σας. Η αλυσίδα το συμβουλεύεται, ζωντανά, σε κάθε ερώτηση.

Που σημαίνει ότι η αλυσίδα είναι η ευαίσθητη επιφάνεια. Όχι μόνο το μοντέλο: τα έγγραφα που μπαίνουν, τα embeddings που φτιάχνονται από αυτά, κάθε ερώτηση που κάνει οποιοσδήποτε, κάθε απάντηση που επιστρέφει, και τα logs όλων αυτών. Αποφασίστε πού ζει η αλυσίδα και έχετε αποφασίσει πού ζει η γνώση της εταιρείας σας.

Η αλυσίδα είναι το πρόβλημα απορρήτου

Περπατήστε την τυπική συνταγή του cloud γι' αυτή τη λειτουργία και μετρήστε τους τρίτους. Τα έγγραφα κωδικοποιούνται μέσω ενός φιλοξενούμενου embeddings API. Τα διανύσματα πάνε σε μια managed υπηρεσία vector database. Οι ερωτήσεις δρομολογούνται μέσω άλλου API σε ένα φιλοξενούμενο μοντέλο. Τα logs συσσωρεύονται σε κάθε στάση, κάτω από την πολιτική διατήρησης του κάθε παρόχου. Τέσσερα εξωτερικά μέρη, το καθένα μια απάντηση που τώρα χρωστάτε στον ελεγκτή.

Οργανισμοί που δεν θα ανέβαζαν ποτέ ένα συμβόλαιο περνούν ευχαρίστως το ίδιο συμβόλαιο από ένα embeddings API, επειδή «είναι απλώς διανύσματα». Τα embeddings δεν είναι ανώνυμοι αριθμοί. Είναι μια κωδικοποίηση του νοήματος του κειμένου, με απώλειες, χτισμένη ειδικά ώστε το νόημα να μπορεί να αναζητηθεί. Μια vector database γεμισμένη από το αρχείο σας είναι το αρχείο σας, μετασχηματισμένο. Αντιμετωπίστε τη δικαιοδοσία της, τη μίσθωσή της και τους ελέγχους πρόσβασής της ακριβώς όπως αντιμετωπίζετε τα ίδια τα έγγραφα, γιατί λειτουργικά είναι αυτά.

Μόλις δείτε την αλυσίδα ολόκληρη, η single-tenant απάντηση παύει να είναι προτίμηση και γίνεται ο σχεδιασμός. Ένα μηχάνημα κρατά τα έγγραφα, τα embeddings, το μοντέλο, τις ερωτήσεις, τις απαντήσεις και τα logs. Η λίστα των τρίτων που βλέπουν ένα token έχει μία εγγραφή: κανένας. Όταν ο ελεγκτής ρωτήσει ποιος άλλος μπορεί να το δει αυτό, αυτή είναι ολόκληρη η απάντηση, και είναι καλύτερο απόγευμα από ένα διάγραμμα ροής δεδομένων με πέντε λογότυπα πάνω του.

Τι σημαίνει το managed επίπεδο

Διαστασιολογούμε την GPU στο μοντέλο και στο corpus με ειλικρίνεια (η λογική αντιστοίχισης στη σελίδα GPU Servers είναι η δημόσια εκδοχή αυτής της συζήτησης), εγκαθιστούμε και ρυθμίζουμε το serving stack πίσω από ένα endpoint συμβατό με OpenAI, στήνουμε το μοντέλο embeddings και τη vector database δίπλα του, και κρατάμε το σύνολο σε λειτουργία. Η δουλειά ενσωμάτωσης της ομάδας σας έχει δύο σημεία: στρέψτε το ingestion στα έγγραφά σας, και καλέστε το endpoint. Οι μάχες συμβατότητας, το κάρφωμα των drivers, τα trade-offs του quantization γίνονται στον δικό μας χρόνο, που είναι όλο το νόημα της συμφωνίας. Η managed υπηρεσία GPU μας ορίζει το εύρος της μηχανικής δουλειάς.

Για ποιους είναι πραγματικά

Οι κλάδοι ταξινομούνται μόνοι τους με βάση το τι φοβούνται. Νομικές ομάδες, γιατί το απόρρητο της σχέσης με τον πελάτη είναι υπαρξιακό και ένα συμβόλαιο δεν μπορεί να αγγίξει API τρίτου. Υγεία, γιατί ένα περιστατικό που πρέπει να αναφερθεί είναι ο εφιάλτης και το πλαίσιο του ασθενούς περνά από τα prompts. Fintech και ασφάλειες, γιατί η ερώτηση του ρυθμιστή πρέπει να έχει απάντηση με όνομα πάνω της. Δημόσιος τομέας, γιατί η κυριαρχία γίνεται όλο και περισσότερο απαίτηση προμηθειών και όχι προτίμηση. Και ομάδες προϊόντος που χτίζουν πάνω σε ανοιχτά βάρη, γιατί μια βάση γνώσης που εκπαιδεύει το μοντέλο κάποιου άλλου είναι τάφρος με τρύπα. Διαφορετικοί φόβοι, μία αρχιτεκτονική.

Και το τίμιο όριο, γιατί είναι συνήθεια του σπιτιού: αν το corpus σας είναι μικρό, με χαμηλό όγκο και πραγματικά όχι ευαίσθητο, ένα φιλοξενούμενο API είναι συχνά η λογική απάντηση και θα σας το πούμε όταν ρωτήσετε. Αυτό το άρθρο είναι για το αρχείο που δεν μπορεί να πάει σε τρίτο. Γι' αυτό το αρχείο, η ερώτηση δεν ήταν ποτέ αν ο βοηθός αξίζει. Ήταν αν τα έγγραφα ήταν ασφαλή, και η απάντηση είναι να σταματήσετε να τα στέλνετε οπουδήποτε.

“Τα embeddings δεν είναι ανώνυμοι αριθμοί. Είναι τα έγγραφά σας, κωδικοποιημένα.”