রান ও উন্নয়ন
প্রোডাকশনে AI — নজরে রাখা, আরও ভালো করা।
একটি AI সিস্টেম লাইভ হওয়ার পর কাজের ধরন বদলে যায়: ইনপুট সরে যায়, মডেল আপডেট হয়, খরচ ধীরে ধীরে বাড়ে। যে মানদণ্ড আমরা ঠিক করেছিলাম তার বিপরীতে মান, খরচ আর গতির ওপর নজর রাখি, সমস্যা আগেভাগে ধরি, আর সিস্টেমটিকে ক্রমাগত ভালো করি।
একটি প্রোডাকশন মনিটরের উদাহরণ: উত্তরের মান ঠিক করা মানদণ্ডের ওপরে থাকে, তারপর সরতে শুরু করে, সেই সরে যাওয়া ধরা পড়ে, একটি সমাধান পাঠানো হয়, আর মানদণ্ড পেরোনোর আগেই মান আগের জায়গায় ফেরে।
ফিরে এসেছে, আগের জায়গায়
এটা কী
লঞ্চের দিনে ইভ্যালুয়েশনে পাস করা একটি AI সিস্টেমও নিঃশব্দে খারাপ হতে পারে — নতুন ধরনের অনুরোধ, বদলে যাওয়া একটি ডকুমেন্ট, প্রোভাইডারের মডেল আপডেট। রান ও উন্নয়ন একটি চলমান এনগেজমেন্ট: আসল ট্রাফিকে আপনার ইভ্যালুয়েশন চালাই, যা ব্যর্থ হয় তা রিভিউ করি, ঠিক করি, আর প্রতিবার সংখ্যাগুলো আপনাকে দেখাই।
এটা আমাদের কাজের ধারার শেষ ধাপ, যার ভিত্তি ডেটা ও ইভ্যালুয়েশন পাইপলাইন সার্ভিসে বর্ণিত ইভ্যালুয়েশন।
স্পেক
- যা পাবেন
- প্রোডাকশনের আসল ট্রাফিকের একটি নমুনায় নিরবচ্ছিন্ন ইভ্যালুয়েশন
- মান, খরচ বা গতি ঠিক করা মানদণ্ড থেকে সরে গেলে সতর্কবার্তা
- নিয়মিত সমাধান — প্রম্পট, রিট্রিভাল, ডেটা আর মডেল আপডেট — প্রতিটি রিলিজের আগে যাচাই করা
- পড়ে বোঝা যায় এমন রিপোর্ট: কী বদলাল, কী ভালো হলো, আর কীসের ওপর নজর রাখছি
- যেভাবে মাপি
- লঞ্চের আগে ঠিক করা মানদণ্ড — আপনার টেস্ট সেট আর লাইভ ট্রাফিকের নমুনায় মান, প্রতি কাজের খরচ, আর রেসপন্স টাইম — সময়ের সাথে ট্র্যাক করা, প্রতিটি পরিবর্তনের আগে ও পরে তুলনা করে।
- শুরুর ভালো ধাপ
- ইতিমধ্যে লাইভ এমন একটি সিস্টেমের লগে আমাদের অ্যাক্সেস দিন। এক সপ্তাহের লগ দিয়ে আমরা একটি ইভ্যালুয়েশন সেট আর প্রথম রিপোর্ট তৈরি করি।
যা দিয়ে নজর রাখি
যেসব টুল আমরা সাধারণত ব্যবহার করি। আপনার আগে থেকে মনিটরিং থাকলে আমরা সেটার সাথেই যুক্ত হই।
- ইভ্যালুয়েশন স্যুট
- প্রোডাকশন ট্রেসিং
- নমুনা ধরে মানুষের রিভিউ
- ড্রিফট চেক
- খরচের ড্যাশবোর্ড
- প্রম্পট ও মডেল ভার্সনিং
- অ্যালার্টিং
- OpenTelemetry
- আপনার বিদ্যমান অবজারভেবিলিটি স্ট্যাক
কোথায় কাজে লাগে
এই কাজ দেখতে কেমন তার উদাহরণ — কোনো ক্লায়েন্টের গল্প নয়।
- উদাহরণ
লঞ্চের পরের সাপোর্ট এজেন্ট
প্রতি সপ্তাহে এসকেলেশন আর ভুল উত্তর রিভিউ করা হয়, আর সেগুলো হয়ে যায় নতুন টেস্ট কেস আর সমাধান।
- উদাহরণ
যে ডকুমেন্ট বদলাতেই থাকে
আবার ইনডেক্স করা, হালনাগাদ কি না যাচাই, আর সূত্রের অডিট — যাতে উত্তরে কখনো গত বছরের পলিসি না আসে।
- উদাহরণ
মডেল প্রোভাইডারের আপডেট
প্রোভাইডার নতুন মডেল ভার্সন আনলে আগে আপনার ইভ্যালুয়েশন চালাই, আর মানদণ্ড ধরে রাখলে তবেই বদলাই।
- উদাহরণ
খরচ ধীরে ধীরে বাড়ছে
খরচ কোথায় যাচ্ছে খুঁজে বের করি, তারপর ক্যাশ, রাউটিং বা ডিস্টিলেশন দিয়ে মান না হারিয়ে প্রতি কাজের খরচ কমাই।
সাধারণ প্রশ্ন
সাধারণ সাপোর্ট সফটওয়্যার চালু রাখে। একটি AI সিস্টেম চালু থেকেও খারাপ হতে পারে। রান ও উন্নয়নের বিষয় হলো মান: আমরা সেটা নিরবচ্ছিন্নভাবে মাপি আর সে অনুযায়ী কাজ করি — শুধু কিছু ভাঙলে নয়।
না। অন্য টিমের বানানো সিস্টেমের দায়িত্বও নিতে পারি। শুরু করি একটি রিভিউ আর একটি ইভ্যালুয়েশন সেট দিয়ে, যাতে কিছু বদলানোর আগে আমরা দুপক্ষই জানি সিস্টেমটি কোথায় দাঁড়িয়ে।
শুরুতেই আপনার সাথে মিলে ঠিক করি: মেট্রিক, টেস্ট সেট আর সীমা। কোনো সংখ্যা সরলে সেটাকে সমস্যা বলার আগে তার পেছনের আসল কেসগুলো দেখি।
এনগেজমেন্ট শুরুর সময় সিস্টেমটি কতটা জরুরি তা দেখে আপনার সাথে সাড়া দেওয়ার সময় আর কাজের সময় ঠিক করি। সেগুলো চুক্তিতে লেখা থাকে, ওয়েব পেজে প্রতিশ্রুতি হিসেবে নয়।
আপনার AI ভালো হচ্ছে, না খারাপ?
প্রোডাকশনে কী চলছে, বলুন। আমরা জানাব কীভাবে মাপব, আর প্রথমে কীসের ওপর নজর রাখব।