چت بات‌

از زمانی که ChatGPT در نوامبر گذشته محبوبیت خود را کسب کرد، تعداد زیادی چت‌بات دیگر نیز به عنوان رقبایی برای ۴-ChatGPT راه‌اندازی شده‌اند. این چت‌بات‌ها از لحاظ قابلیت‌ها، قیمت، رابط کاربری، دسترسی به اینترنت و جوانب دیگری تفاوت‌هایی با هم دارند.

پلتفرم مقایسه چت بات ها

به منظور آسان‌تر کردن مقایسه این چت‌بات‌ها، یک سازمان تحقیقاتی به نام Model Systems Organization که توسط دانشجویان و اساتید دانشگاه کالیفرنیا، برکلی تأسیس شده است، Chatbot Arena را راه‌اندازی کرده است. این پلتفرم به کاربران امکان مقایسه چت‌بات‌ها را می‌دهد.

برای استفاده از این سرویس، کاربران ابتدا یک درخواست را مطرح می‌کنند و سپس دو مدل به صورت تصادفی پاسخ‌هایی را ارائه می‌دهند. کاربران بدون داشتن اطلاعات درباره مدل‌ها، بهترین پاسخ را انتخاب می‌کنند.

معرفی کامل چت بات ها

پلتفرم Chatbot Arena یک سامانه بنچمارک برای مدل‌های زبان بزرگ (LLM) است که به کاربران امکان مقایسه چت بات‌ها را می‌دهد. با استفاده از این پلتفرم، کاربران می‌توانند چت‌بات‌ها را با یکدیگر مقایسه کنند.

برای مثال، در آزمایش زیر از دو چت‌بات خواسته شده است که یک نامه درخواست مرخصی بنویسند. پس از ارائه پاسخ‌های مختلف و انتخاب گزینه مورد نظر، متوجه شدیم که یکی از چت‌بات‌ها با نام koala-13b و دیگری با نام vicuna-13b شناخته می‌شود.

برترین چت بات ها

سپس در صفحه رده‌بندی لیدربورد، تمامی مدل‌های زبان بزرگ (LLM) با رتبه‌بندی نمایش داده می‌شوند. این رتبه‌بندی تحت تأثیر نتایج آزمایشات کاربران قرار می‌گیرد و از سیستم رده‌بندی Elo استفاده می‌کند که در زمینه ارزیابی سطح مهارت بازیکنان در رشته‌های ورزشی مورد استفاده قرار می‌گیرد.

طبق این صفحه، در حال حاضر مدل GPT-4 از OpenAI به عنوان پیشرفته‌ترین LLM شناخته می‌شود و امتیاز Elo آن ۱۲۲۷ است. همچنین، مدل Claude-v1 که توسط شرکت Anthropic توسعه یافته است، با امتیاز ۱۲۲۷ در جایگاه دوم قرار دارد.

ChatBot Arena و ویژگی‌ های آن

علاوه‌ بر این، وب‌سایت ChatBot Arena دارای بخشی دیگر نیز است که از طریق آن می‌توانید یک چت‌بات خاص را آزمایش کنید یا دو مدل مشخص را با یکدیگر مقایسه کنید. اگر می‌خواهید یک LLM خاص را آزمایش کنید، این ویژگی می‌تواند بسیار مفید باشد.

نتیجه‌ گیری

با ظهور انواع مختلفی از چت‌بات‌ها و مدل‌های زبان بزرگ (LLM)، پلتفرم ChatBot Arena به کاربران امکان مقایسه و ارزیابی این مدل‌ها را می‌دهد. این ابزار مفیدی برای افرادی است که می‌خواهند بهترین مدل را برای نیازهای خود انتخاب کنند و به ت

به منظور آسان‌تر کردن مقایسه این چت‌بات‌ها، یک سازمان تحقیقاتی به نام Model Systems Organization که توسط دانشجویان و اساتید دانشگاه کالیفرنیا، برکلی تأسیس شده است، Chatbot Arena را راه‌اندازی کرده است.