در سراسر صنعت هوش مصنوعی، کاربران بیش از پیش به هزینههای بالای استقرار مدلها آگاه میشوند و احساس فوریت برای کاهش هزینهها دارند. اما در حالی که مدلهای منبعباز هزینهی هر توکن بهمراتب کمتری دارند، پیدا کردن مدل مناسب برای هر کار خاص دشوار است.
پنجشنبه، شرکت Writer که ابزارها و عاملهای هوش مصنوعی را برای بازاریابان ارائه میدهد، مدل پرچمدار جدید خود به نام Palmyra X6 را معرفی کرد که برای حل این مشکل برای کاربرانش طراحی شده است. این سیستم که بهعنوان یک تغییر پسآموزشی بر روی مدل منبعباز GLM-۵.۲ از Z.ai ساخته شده، ادعا میکند که قابلیتهای آمادهی استقرار را با قیمتی بسیار پایینتر ارائه میدهد. این شرکت تخمین میزند که مدل جدید، همراه با تغییرات در زیرساخت مهار (harness) شرکت، هزینههای مشتریان را برای کارهای پایه تا ۵۰ درصد کاهش خواهد داد.
همراه با مدل جدید، این شرکت همچنین ارتقاءهای قابلتوجهی را برای مهار استاندارد عاملمحور خود منتشر کرد. هر دو ویژگی از پنجشنبه در اختیار مشتریان Writer قرار خواهند گرفت.
می حبیب، مدیرعامل، به TechCrunch گفت: «فکر میکنم شرکتها واقعاً از دنبال کردن معیارهای بعدی خسته شدهاند. آنها به دنبال کاهش هزینه هستند و به نظر میرسد هیچکس نمیتواند آن را ارائه دهد.»
رویکرد جدید تأکید ویژهای بر وظایف پیچیده و چندمرحلهای دارد که سریعتر و با توکنهای کمتری اجرا میشوند. Writer بهینهسازی مهار را بهعنوان یک اهرم حیاتی برای تحقق این هدف میداند.
مقالهای اخیر از محققان Writer اعتبار این رویکرد را تأیید میکند و تغییرات کوچک در کارایی مهار را در چندین مدل مختلف آزمایش کرده است. این تحقیق نشان داد که در بسیاری از موارد، تغییرات در مهار روشی قابلاعتمادتر برای کاهش هزینهها نسبت به انتخاب مدل است، بهطوری که هزینهها بهطور متوسط ۴۰ درصد در آزمایشهای آنها کاهش یافته است.
محققان نوشتند: «مهار تنها مؤلفهای است که کارایی آن در هر مدلی که یک سازمان اجرا میکند – حال و آینده – چند برابر میشود.»
برای مشتریان Writer، تجربه همچنان مستقل از مدل است: Palmyra X6 در کنار سایر مدلهای Writer یا مدلهای خارجی که از طریق Azure یا Amazon Bedrock وارد میشوند، قرار خواهد گرفت. اما حبیب همچنین معتقد است که فشار برای کاهش هزینهها باعث ایجاد بیاعتمادی گستردهتر نسبت به آزمایشگاههای بزرگ هوش مصنوعی میشود که انگیزه مالی برای افزایش مصرف توکن دارند.
حبیب به TechCrunch گفت: «انفجار هزینه در اینجا برای مشتریان بیسابقه است و همچنین میزان ناامیدی مدیران ارشد فناوری از آزمایشگاهها نیز بیسابقه است.» او افزود که آزمایشگاههای هوش مصنوعی «بهدرستی درک نمیکنند که چگونه به یک سازمان در بهرهمندی از هوش مصنوعی کمک کنند.»
