Tijdens Microsoft Build 2023, de jaarlijkse ontwikkelaarsconferentie van Microsoft dat eerder deze week plaatsvond in in Seattle, zijn diverse aankondigingen gedaan rond AI voor Windows 11 en voor software ontwikkelaars. De grootste aankondiging is Windows Copilot, waarbij Windows 11 AI-ondersteuning krijgt ingebouwd. Daarbij wordt de conversationele AI van Bing Chat in Windows verwerkt, waarbij de Copilot ook acties kan ondernemen. De volledige openingskeynote van CEO Satya Nadella is online terug te kijken.
Voor wie meer over de achtergrond van GPT (het taalmodel dat de basis vormt van ChatGPT) wil weten, raad ik aan de keynote van Andrej Karpathy terug te kijken. Karpathy is een Slowaaks-Canadese computerwetenschapper die tot voor kort directeur AI was bij Tesla en momenteel werkt voor OpenAI. In 40 minuten schetst hij de status van GPT:
Let wel, de keynote van Karpathy is een redelijk technisch verhaal waarin je meer inzicht krijgt in hoe taalmodellen als GPT worden getraind. Van tokenization tot pretraining, supervised finetuning en Reinforcement Learning from Human Feedback (RLHF). Ook gaat hij dieper in op de praktische aspecten voor effectief gebruik van deze modellen, waaronder prompting-strategieën, finetuning en het ecosysteem van tools.
Een paar slides uit de keynote:
GPT Assistant training pipeline
Data collection
Example models
Default recommendations
Use cases
