کش قیمت یک محصول پرفروش درست وسط تخفیف منقضی میشود. فرض کنید در همان لحظه صدها نفر صفحهٔ محصول را باز میکنند. هر درخواست موجودی کش را بررسی میکند، چیزی پیدا نمیکند و تصمیم میگیرد قیمت را از پایگاه داده بخواند. درخواست اول هنوز پاسخ نگرفته که بقیه هم همان کار را شروع کردهاند. در حالت عادی یک بار خواندن کافی بود، اما حالا یک کلید منقضیشده میتواند صدها خواندن همزمان به دیتابیس تحمیل کند.
این اتفاق Cache Stampede نام دارد. برای حلش باید رفتار سیستم را در فاصلهٔ بین خالی شدن کش و آماده شدن مقدار جدید طراحی کنید. طول عمر بیشتر کش ممکن است فاصلهٔ بین رخدادها را زیاد کند، ولی همان چند میلیثانیه یا چند ثانیهای که مقدار در دسترس نیست، همچنان تعیینکننده است.
Cache Stampede چطور شکل میگیرد؟
خیلی از برنامهها از الگوی Cache-Aside استفاده میکنند. ابتدا کش را میخوانند. اگر مقدار وجود داشت، همان را برمیگردانند. اگر نبود، از منبع اصلی میخوانند و نتیجه را برای درخواستهای بعدی در کش میگذارند. مسیر تا زمانی ساده است که درخواستها با فاصله برسند. اگر مدت بازسازی کلید از فاصلهٔ میان درخواستها بیشتر شود، چند درخواست قبل از پر شدن دوبارهٔ کش به یک نتیجه میرسند: «باید به دیتابیس مراجعه کنم.»
در مثال فروشگاه، اگر خواندن و ساخت پاسخ حدود ۲۰۰ میلیثانیه طول بکشد و در آن بازه ۵۰۰ درخواست برای همان محصول بگیرند، در پیادهسازی ساده ممکن است صدها درخواست وارد مرحلهٔ خواندن شوند. ۵۰۰ یک عدد فرضی است. تعداد واقعی به زمان رسیدن درخواستها، ظرفیت صف اتصال دیتابیس و زمان بازسازی بستگی دارد. گاهی کند شدن دیتابیس پنجرهٔ خالی بودن کش را بیشتر میکند و موج بعدی را هم به همان عملیات میکشاند.
نرخ برخورد کلی به کش ممکن است همچنان بالا باشد و مشکل را پنهان کند. در داشبورد یک دقیقهای، هزاران پاسخ سریع بقیهٔ کلیدها میتوانند آن جهش کوتاه را پوشش دهند. به همین دلیل برای کلیدهای پرتقاضا باید تعداد miss همزمان، زمان بازسازی و تعداد خواندنهای واقعی دیتابیس را جداگانه ثبت کنید.
سه راه برای سه وضعیت متفاوت
| وضعیت | گزینهٔ مناسب | چیزی که باید بسنجید |
|---|---|---|
| تعداد زیادی کلید با هم منقضی میشوند | افزودن اختلاف کوچک به TTL یا Jitter | پخش شدن بار بازسازی و سقف مجاز کهنگی |
| یک کلید خاص ترافیک زیادی دارد | یک بازسازی برای هر کلید، با انتظار محدود | تعداد خواندن دیتابیس و مدت انتظار کاربران |
| کمی کهنگی قابل قبول است | نمایش موقت مقدار قبلی و تازهسازی در پسزمینه | سن داده، نرخ خطا و تعداد تازهسازیهای همزمان |
۱. زمان انقضای کلیدها را پخش کنید
اگر یک کار دورهای هزاران محصول را یکجا در کش میگذارد و همه ۳۰۰ ثانیه TTL دارند، خیلی از آنها همزمان منقضی میشوند. میتوانید به هر کلید یک اختلاف کوچک بدهید. مثلاً در بازهٔ فرضی ۲۷۰ تا ۳۰۰ ثانیه مقداری انتخاب کنید تا سقف ۳۰۰ ثانیه حفظ شود. مقدار اختلاف را به اندازهٔ بار و قرارداد تازگی داده انتخاب کنید. در یک کاتالوگ شلوغ حتی این تغییر کوچک میتواند چند موج ترافیکی را در زمان پخش کند.
این روش برای کلید منفرد پرطرفدار تضمینی ایجاد نمیکند. هر بار که آن یک کلید منقضی شود، درخواستهای زیاد هنوز میتوانند در یک بازه برسند. اگر مسئله عمدتاً یک محصول یا یک گزارش داغ است، تعداد بازسازیهای همزمان همان کلید را محدود کنید.
۲. برای هر کلید یک بازسازی انجام دهید
وقتی کش خالی است، یک درخواست نقش بازساز را میگیرد. بقیه میتوانند مدت کوتاهی برای نتیجه منتظر بمانند و دوباره کش را بررسی کنند. برای یک پردازه، هماهنگی محلی بر اساس کلید ساده است. اگر چند نمونهٔ برنامه اجرا میشود، هماهنگی محلی به تعداد نمونهها بازسازی مجزا میسازد. بسته به فشار قابلقبول روی منبع، ممکن است این مقدار کافی باشد. اگر یک بازسازی در کل ناوگان لازم است، قفل توزیعشده یا قابلیتی مانند قفل کش NGINX را بررسی کنید.
بعد از گرفتن قفل، کش را دوباره بخوانید. شاید درخواست دیگری بین miss اولیه و به دست آوردن قفل، مقدار را ساخته باشد. همچنین انتظار نامحدود نگذارید. اگر بازساز از کار بیفتد، انقضای قفل و حداکثر زمان انتظار باید رفتار روشنی داشته باشند. در قفل توزیعشده، آزادسازی قفل را هم به مالک همان تلاش محدود کنید تا یک کارِ دیررس قفل تلاش جدید را برندارد.
۳. مقدار قبلی را موقت نگه دارید
برای بخشی مثل توضیح محصول، شاید نمایش نسخهای که چند ثانیه قدیمی است قابل قبول باشد. در این حالت یک زمان برای تازگی و یک سقف برای نگهداری تعریف کنید. بعد از عبور از زمان تازگی، مقدار قبلی میتواند موقتاً به کاربر برسد و تنها یک عملیات در پسزمینه سراغ منبع برود. اگر تازهسازی شکست خورد، سقف کهنگی تعیین میکند تا کجا میتوان از نسخهٔ قبلی استفاده کرد. این منطق با مفهوم stale-while-revalidate در HTTP همخانواده است. نحوهٔ اعمال آن برای کش داخلی برنامه به قرارداد همان سیستم بستگی دارد.
در فروشگاه، توضیح محصول و مبلغ نهایی پرداخت را یکسان در نظر نگیرید. برای دیدن یک صفحه ممکن است مقدار قدیمی پذیرفتنی باشد، اما قیمت و موجودی هنگام ثبت سفارش باید طبق قواعد منبع معتبر بررسی شوند. این تفاوت را قبل از انتخاب TTL و رفتار fallback با تیم محصول روشن کنید.
کش HTTP یک نمونهٔ جدا از همین ایده است. یک پراکسی میتواند پاسخ تازه را بدون تماس با سرور مبدأ تحویل بدهد و وقتی پاسخ از تازگی افتاد، برای درخواست بعدی سیاست تازهسازی اجرا کند. در کش قیمت داخل برنامه، نقش پراکسی را منطق همان برنامه دارد و منبع اصلی دیتابیس است. مرز تازگی باید در هر دو مسیر روشن باشد.
یک تست کوچک که مشکل را آشکار میکند
ابتدا کلید یک محصول را در محیط تست گرم کنید و انقضای آن را نزدیک بگذارید. کمی قبل از انقضا و بلافاصله بعد از آن درخواستهای همزمان را به همان مسیر بفرستید. برای مقایسه، تعداد کلاینتها، داده، نسخهٔ برنامه و تأخیر منبع را ثابت نگه دارید. به جای یک عدد متوسط، سه چیز را کنار هم ثبت کنید: تعداد خواندن دیتابیس برای همان کلید، مدت بازسازی و صدک ۹۵ زمان پاسخ. اگر نسخهٔ دارای قفل فقط یک بار دیتابیس را میخواند اما صدک ۹۵ چند برابر شده، سیاست انتظار هنوز جای اصلاح دارد.
تست را یک بار با منبع عادی و یک بار با منبع کند یا خطادار اجرا کنید. ببینید آیا بعد از نخستین خطا همهٔ منتظرها همزمان بازسازی را از نو شروع میکنند. برای پاسخهای جایگزین، سن داده را هم همراه نتیجه ثبت کنید تا کاهش زمان پاسخ با نمایش دادهٔ خیلی قدیمی اشتباه گرفته نشود. در تولید، نمودار تعداد miss و خواندن دیتابیس را بر اساس بازههای زمانی کوچک کنار هم بگذارید و برای کلیدهای نمونه ردپای عملیات را نگه دارید.
از کدام تغییر شروع کنیم؟
اگر نمودار نشان میدهد تعداد زیادی کلید در یک لحظه از اعتبار میافتند، اول TTL را پخش کنید. اگر بخش بزرگی از بار از یک کلید میآید، بازسازی همان کلید را هماهنگ کنید. اگر خواننده میتواند مقدار قبلی را برای مدت محدود ببیند، تازهسازی در پسزمینه را هم اضافه کنید. برای شناخت الگوی پایه، راهنمای Cache-Aside مایکروسافت و برای یک تجربهٔ عملی از تازهسازی زودهنگام، شرح مهندسی Cloudflare را ببینید. برای مطالب مرتبط فارسی هم میتوانید از بلاگ ایوولرن شروع کنید.