پانزدهمین دوره کارگاههای سالانه آزمایشگاه تخصصی فناوری وب WTLAB

اطلاعات کارگاه مفاهیم نوین در مدل‌های زبانی بزرگ

سرفصل ها:

• • • تنظیم دقیق مدل‌های زبانی بزرگ
      – مدل‌های زبانی بزرگ با میلیاردها پارامتر، در بسیاری از وظایف پردازش زبان طبیعی موفقیت‌های قابل توجهی نشان داده‌اند. با این حال، اندازه عظیم و نیازهای محاسباتی این مدل‌ها چالش‌هایی جدی برای تنظیم دقیق (fine-tuning) آنها به منظور تطبیق با وظایف خاص پایین‌دستی، به‌ویژه در محیط‌هایی با منابع محاسباتی محدود ایجاد کرده است. رویکرد تنظیم دقیق بهینه پارامترها، (parameter-effecient fine-tuning: PEFT)، با تنظیم دقیق حداقل تعداد پارامترها و در عین حال دستیابی به عملکرد قابل مقایسه با تنظیم دقیق کامل، راه حل موثری را ارائه می‌دهد. در این ارائه تنظیم دقیق بهینه پارامترهای مدل‌های زبانی بزرگ، با استفاده از رویکردهای PEFT بررسی می‌شود و با انجام آزمایش‌هایی اثربخشی آنها را در کارایی پارامتر و کارایی حافظه نشان داده می‌شود.
    • زنجیره افکار در مدل‌های زبانی بزرگ
      – در این مبحث با مفاهیم زنجیره افکار (Chain of Thought) در مدل‌های زبانی بزرگ (LLMs) آشنا خواهید شد. این تکنیک به مدل‌ها امکان می‌دهد تا مسائل پیچیده را به صورت گام به گام حل کنند و منطق بهتری ارائه دهند. ما به بررسی ساختارهای این زنجیره‌ها و کاربردهای عملی آن در حل مسائل و بهینه‌سازی پاسخ‌های هوش مصنوعی خواهیم پرداخت.
    • مدل‌های زبانی بزرگ به عنوان داور
      – مدل‌های زبانی بزرگ به عنوان داور (LLM-as-a-judge)، به معنای استفاده از این فناوری‌ها برای ارزیابی و قضاوت در مورد پاسخ‌ها و اطلاعات تولید شده است. در این نقش، مدل‌های زبانی بزرگ می‌توانند به تحلیل دقت، جامعیت و کیفیت پاسخ‌ها بپردازند و در زمینه‌های مختلفی به کار گرفته شوند. این مدل‌ها با استفاده از داده‌های آموزشی وسیع و الگوریتم‌های پیشرفته، قادر به درک و تحلیل زبان طبیعی هستند و می‌توانند به عنوان یک ابزار در تصمیم‌گیری‌های پیچیده عمل کنند. نتیجه قابل توجه این است که مدل‌های زبانی بزرگ مانند GPT-4 می‌توانند به خوبی با ترجیحات انسانی کنترل شده و جمع‌سپاری شده مطابقت داشته باشند و بیش از 80% توافق را به دست آورند، که همان سطح توافق بین انسان‌ها است. از این رو استفاده از مدل‌های زبانی بزرگ به عنوان قاضی، یک روش مقیاس‌پذیر و قابل توضیح برای تقریب به ترجیحات انسانی است که در غیر این صورت بسیار پرهزینه به دست می‌آید.
    • آشنایی با تولید تقویت شده با بازیابی و کاربرد‌های آن
      – در این مبحث به معرفی مفهوم کلی RAG (افزودن و استفاده از بازیابی (Retrieval) برای بهبود تولید (generation))، دلایل نیاز به آن و مزایا و کاربرد ها، معرفی دسته بندی مقالات RAG از نظر جایگاه استفاده از بازیابی و روش بهبود تولید با استفاده از آن و معرفی یک روش نمونه از هر دسته ، بررسی روند تکامل ساختار ها و روش های RAG و مقایسه و شباهت سنجی ساختار های مختلف RAG با دیگر روش های بهبود نتایج LLM، معرفی استراتژی های مختلف پیاده سازی RAG ، توضیح چالش ها و زمینه های فعالیت های آتی، ارائه و اجرای یک نمونه پیاده سازی ساده RAG خواهیم پرداخت.