راه‌اندازی ۷۳ سرور Huawei با مجازی‌سازی VMware ESXi؛ از فیبر نوری تا SAN

یکی از پروژه‌های بزرگ دیتاسنتری که مدیریت فنی آن را بر عهده داشتم، راه‌اندازی ۷۳ سرور Huawei و آماده‌سازی آن‌ها به‌عنوان بستر مجازی‌سازی VMware ESXi بود؛ پروژه‌ای که از باز کردن کارتن‌ها شروع شد و به شبکه داده، شبکه ذخیره‌سازی، مدیریت خارج از باند و محاسبه برق و سرمایش رسید.

به دلیل محرمانه بودن اطلاعات کارفرما، نام سازمان، مدل دقیق تجهیزات و جزئیات پیکربندی در این مطلب منتشر نمی‌شود. تمرکز روی مراحل کار و نکته‌هایی است که برای پروژه‌های مشابه به کار می‌آید.

پیش از نصب: برق و سرمایش

پیش از اینکه حتی یک سرور در رک قرار بگیرد، باید مطمئن شد دیتاسنتر توان پذیرش آن را دارد. اندازه‌گیری توان مصرفی فعلی دیتاسنتر و محاسبه بار تازه، ظرفیت تابلوها، UPS و PDUها را روشن می‌کند و محاسبه ظرفیت سرمایش نشان می‌دهد سیستم خنک‌کننده می‌تواند گرمای اضافه را دفع کند یا نه. هر سرور چند صد وات به بار اضافه می‌کند و در مقیاس ده‌ها سرور، جمع آن می‌تواند به ده‌ها کیلووات برسد؛ عددی که اگر از قبل دیده نشود، با اولین روشن شدن هم‌زمان سرورها خودش را نشان می‌دهد.

نصب فیزیکی

نصب ریل‌ها و چیدمان سرورها در رک باید با رعایت مسیر هوای سرد و گرم انجام شود و برق هر سرور، با استفاده از دو منبع تغذیه آن، روی دو PDU جداگانه تقسیم شود تا قطع یک مسیر برق، سرویس را از کار نیندازد.

فیبر نوری: یک مسیر برای داده، یک مسیر برای ذخیره‌سازی

سرورها به دو شبکه مستقل وصل شدند: شبکه داده با فیبر نوری به سوئیچ‌های Cisco، و شبکه ذخیره‌سازی (SAN) با فیبر Fibre Channel به سوئیچ‌های Cisco MDS. جدا بودن این دو شبکه یعنی ترافیک سنگین ذخیره‌سازی با ترافیک کاربران و ماشین‌های مجازی رقابت نمی‌کند.

در این حجم از کابل‌کشی، برچسب‌گذاری دو سر هر کابل، مستند کردن مسیر هر پورت و تمیز نگه داشتن کانکتورهای فیبر از همان روز اول، عیب‌یابی‌های بعدی را ساعت‌ها کوتاه‌تر می‌کند.

شبکه ذخیره‌سازی با Cisco MDS

سری Cisco MDS سوئیچ‌های اختصاصی Fibre Channel هستند. روال استاندارد در طراحی SAN، دو Fabric کاملاً جدا (A و B) است تا هر سرور از دو مسیر مستقل به ذخیره‌ساز برسد، و Zoning که مشخص می‌کند هر سرور فقط به منابع ذخیره‌سازی مربوط به خودش دسترسی داشته باشد.

مدیریت خارج از باند (OOB)

سرورهای Huawei یک کنترلر مدیریتی به نام iBMC دارند که مستقل از سیستم‌عامل کار می‌کند. با آن می‌شود سرور را از راه دور روشن و خاموش کرد، کنسولش را دید، سیستم‌عامل نصب کرد و سلامت سخت‌افزار را پایش کرد. برای این کنترلرها یک شبکه مدیریتی جداگانه راه‌اندازی شد؛ شبکه‌ای که باید از شبکه کاربران و اینترنت کاملاً جدا بماند، چون دسترسی به آن یعنی دسترسی به خود سخت‌افزار.

مجازی‌سازی با ESXi در مقیاس ۷۳ سرور

نصب ESXi روی ۷۳ سرور یعنی کار تکراری، و کار تکراری یعنی جای خطا. در این مقیاس یکسان بودن تنظیمات BIOS و فریم‌ور، نسخه یکسان ESXi و پیکربندی استاندارد شبکه و ذخیره‌سازی روی همه هاست‌ها اهمیت حیاتی دارد. نصب خودکار با اسکریپت‌های Kickstart و مدیریت متمرکز با vCenter، این کار را قابل کنترل و قابل تکرار می‌کند.

چک‌لیست برای پروژه‌های مشابه

• برق و سرمایش را قبل از خرید حساب کنید، نه بعد از رسیدن تجهیزات.
• سه شبکه را جدا نگه دارید: داده، ذخیره‌سازی و مدیریت.
• همه چیز را مستند کنید: جای هر سرور در رک، هر کابل و هر پورت.
• استانداردسازی کنید: فریم‌ور، BIOS و نسخه ESXi یکسان روی همه سرورها.
• افزونگی را تست کنید: قبل از تحویل، یک مسیر برق، یک لینک شبکه و یک مسیر SAN را عمداً قطع کنید و رفتار سیستم را ببینید.

اگر شما هم پروژه دیتاسنتر یا مجازی‌سازی در پیش دارید، برای مشاوره رایگان با «فرآیند داده هوشمند» در تماس باشید.