TensorFlow GPU: شتاب دادن به عملکرد یادگیری عمیق

مقدمه

یادگیری عمیق انقلابی در حوزه هوش مصنوعی ایجاد کرده است و دستاوردهای بزرگی در زمینه های بینایی کامپیوتری، پردازش زبان طبیعی و بسیاری از حوزه های دیگر به دست آورده است. در قلب این انقلاب، TensorFlow قرار دارد که یک چارچوب یادگیری ماشینی متن‌باز توسعه‌یافته توسط گوگل است. در حالی که TensorFlow می‌تواند روی CPU ها اجرا شود، بهره‌گیری از قدرت GPU ها برای آموزش و استنتاج کارآمد شبکه‌های عصبی پیچیده ضروری است. در این مقاله، به بررسی نحوه استفاده TensorFlow از GPU ها برای شتاب دادن به کارهای یادگیری عمیق و ارائه راهنمای جامع برای راه‌اندازی و بهینه‌سازی عملکرد TensorFlow GPU می‌پردازیم.

مفاهیم کلیدی

GPU ها در مقابل CPU ها

GPU ها (واحدهای پردازش گرافیکی) سخت‌افزارهای تخصصی هستند که برای پردازش موازی مقادیر زیادی داده طراحی شده‌اند. آنها هزاران هسته بهینه‌شده برای عملیات نقطه‌شناور دارند که آنها را برای محاسبات یادگیری عمیق ایده‌آل می‌کند.
CPU ها (واحدهای پردازش مرکزی) پردازنده‌های چندمنظوره هستند که در انجام وظایف متوالی و منطق پیچیده تبحر دارند. در حالی که CPU ها می‌توانند کارهای یادگیری عمیق را انجام دهند، در مقایسه با GPU ها به طور قابل توجهی کندتر هستند.

CUDA و cuDNN

CUDA (معماری محاسبات موازی) یک پلتفرم محاسبات موازی و مدل برنامه‌نویسی است که توسط NVIDIA توسعه داده شده است. این به توسعه‌دهندگان امکان می‌دهد تا از قدرت GPU های NVIDIA برای محاسبات چندمنظوره استفاده کنند.
cuDNN (کتابخانه شبکه عصبی عمیق CUDA) یک کتابخانه شتاب‌دهنده GPU است که برای اصول اولیه شبکه‌های عصبی عمیق طراحی شده است. این پیاده‌سازی‌های بسیار بهینه‌شده از عملیات رایج یادگیری عمیق مانند卷积، pooling و توابع فعال‌سازی را فراهم می‌کند.

پشتیبانی TensorFlow از GPU

TensorFlow به طور یکپارچه با GPU های NVIDIA از طریق استفاده از CUDA و cuDNN ادغام شده است. این به طور خودکار GPU های موجود را شناسایی کرده و بار محاسباتی را در سراسر آنها توزیع می‌کند. TensorFlow از طیف گسترده‌ای از معماری‌های GPU NVIDIA پشتیبانی می‌کند.ترجمه فارسی:

Turing (RTX 20 سری)
Volta (Tesla V100)
Pascal (GTX 10 سری، Titan X)
Maxwell (GTX 900 سری)
Kepler (GTX 600/700 سری)

راه‌اندازی TensorFlow GPU

نیازمندی‌های سخت‌افزاری

برای اجرای TensorFlow با شتاب‌دهی GPU، به یک GPU NVIDIA با قابلیت محاسباتی 3.5 یا بالاتر نیاز دارید. برخی از گزینه‌های محبوب شامل موارد زیر است:

NVIDIA GeForce RTX 2080 Ti
NVIDIA Tesla V100
NVIDIA Titan RTX

مطمئن شوید که سیستم شما از نظر CPU، RAM و منبع تغذیه برای پشتیبانی از GPU کافی است.

نیازمندی‌های نرم‌افزاری

درایورهای GPU NVIDIA (نسخه 418.x یا بالاتر)
بسته CUDA Toolkit (نسخه 10.1 یا بالاتر)
cuDNN (نسخه 7.6 یا بالاتر)
Python (نسخه 3.5-3.8)
بسته TensorFlow GPU

مراحل نصب

درایورهای GPU NVIDIA را از وبسایت رسمی NVIDIA نصب کنید.
CUDA Toolkit را از صفحه دانلود NVIDIA CUDA دانلود و نصب کنید.
cuDNN را از وبسایت NVIDIA cuDNN دانلود کنید (نیاز به حساب کاربری NVIDIA Developer).
فایل‌های cuDNN را استخراج و به پوشه CUDA Toolkit کپی کنید.
یک محیط مجازی Python جدید ایجاد و فعال کنید.
بسته TensorFlow GPU را با استفاده از pip نصب کنید:

pip install tensorflow-gpu

نصب را با اجرای کد Python زیر بررسی کنید:

import tensorflow as tf
print("Num GPUs Available: ", len(tf.config.list_physical_devices('GPU')))

اگر خروجی یک یا چند GPU را نشان دهد، نصب موفقیت‌آمیز بوده است.

عملیات پایه TensorFlow GPU

فعال‌سازی پشتیبانی GPU

به طور پیش‌فرض، TensorFlow به طور خودکار از GPU‌های موجود برای محاسبات استفاده می‌کند. می‌توانید پشتیبانی GPU را به صورت صریح فعال یا غیرفعال کنید:

import tensorflow as tf
 
# فعال‌سازی GPU
tf.config.set_visible_devices(tf.config.list_physical_devices('GPU'), 'GPU')
 
# غیرفعال‌سازی GPU
tf.config.set_visible_devices([], 'GPU')

ثبت محل قرارگیری دستگاه

برای مشاهده دستگاه‌هایی که TensorFlow برای هر عملیات استفاده می‌کند، می‌توانید ثبت محل قرارگیری دستگاه را فعال کنید:

tf.debugging.set_log_device_placement(True)
```اینجا ترجمه فارسی فایل مارک‌داون داده شده است. برای کد، فقط نظرات ترجمه شده‌اند و هیچ نظر اضافی در ابتدای فایل اضافه نشده است.
 
این عملیات را روی دستگاه (CPU یا GPU) که هر عملیات اجرا می‌شود، چاپ خواهد کرد.
 
### قرارگیری دستی دستگاه
 
می‌توانید عملیات خاصی را به صورت دستی روی CPU یا GPU قرار دهید با استفاده از مدیریت‌کننده بافت `tf.device`:
 
```python
with tf.device('/CPU:0'):
    # عملیات‌های قرار گرفته روی CPU
    cpu_output = tf.math.reduce_sum(tf.random.normal([1000, 1000]))
 
with tf.device('/GPU:0'):
    # عملیات‌های قرار گرفته روی GPU
    gpu_output = tf.math.reduce_sum(tf.random.normal([1000, 1000]))

محدود کردن رشد حافظه GPU

به طور پیش‌فرض، TensorFlow تمام حافظه GPU موجود را برای خود اختصاص می‌دهد، که می‌تواند منجر به خطاهای خارج از حافظه شود. برای جلوگیری از این مشکل، می‌توانید TensorFlow را به گونه‌ای پیکربندی کنید که حافظه GPU را به صورت پویا اختصاص دهد:

gpus = tf.config.list_physical_devices('GPU')
if gpus:
    try:
        for gpu in gpus:
            tf.config.experimental.set_memory_growth(gpu, True)
    except RuntimeError as e:
        print(e)

این امکان را به TensorFlow می‌دهد که به تدریج حافظه GPU را بر اساس نیاز اختصاص دهد، که خطر خطاهای خارج از حافظه را کاهش می‌دهد.

مقایسه عملکرد: CPU در مقابل GPU

برای نشان دادن مزایای عملکردی استفاده از GPU با TensorFlow، بیایید زمان آموزش یک شبکه عصبی کانولوشنی ساده روی مجموعه داده MNIST را با استفاده از CPU و GPU مقایسه کنیم.

آموزش روی CPU

import tensorflow as tf
from tensorflow.keras.datasets import mnist
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Conv2D, MaxPooling2D, Flatten, Dense
 
(x_train, y_train), (x_test, y_test) = mnist.load_data()
x_train, x_test = x_train / 255.0, x_test / 255.0
x_train = x_train[..., tf.newaxis]
x_test = x_test[..., tf.newaxis]
 
model = Sequential([
    Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28, 1)),
    MaxPooling2D((2, 2)),
    Conv2D(64, (3, 3), activation='relu'),
    MaxPooling2D((2, 2)),
    Conv2D(64, (3, 3), activation='relu'),
    Flatten(),
    Dense(64, activation='relu'),
    Dense(10)
])
 
model.compile(optimizer='adam',
   .اینجا ترجمه فارسی فایل مارک‌داون داده شده است. برای کد، فقط نظرات ترجمه شده‌اند و هیچ نظر اضافی‌ای در ابتدای فایل اضافه نشده است.
 
loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
              metrics=['accuracy'])
 
با استفاده از tf.device('/CPU:0'):
    مدل.fit(x_train, y_train, epochs=5, batch_size=64, validation_data=(x_test, y_test))

در یک پردازنده Intel Core i7-9700K CPU، آموزش تقریباً 100 ثانیه در هر دوره طول می‌کشد.

آموزش GPU

برای آموزش همان مدل روی یک GPU، فقط مدیریت‌کننده بافر tf.device را حذف کنید:

model.fit(x_train, y_train, epochs=5, batch_size=64, validation_data=(x_test, y_test))

در یک GPU NVIDIA GeForce RTX 2080 Ti، آموزش تقریباً 10 ثانیه در هر دوره طول می‌کشد، که 10 برابر سریع‌تر از CPU است.

این نتایج نشان می‌دهند که استفاده از GPU برای وظایف یادگیری عمیق چه پیشرفت چشمگیری در عملکرد ایجاد می‌کند. این سرعت بیشتر با مدل‌ها و مجموعه‌های داده بزرگ‌تر نمایان می‌شود.

آموزش چند GPU و توزیع‌شده

TensorFlow از آموزش چند GPU و توزیع‌شده پشتیبانی می‌کند، که به شما امکان می‌دهد مدل‌های خود را در سراسر چندین GPU و ماشین برای زمان‌های آموزش سریع‌تر مقیاس‌بندی کنید.

آموزش چند GPU

برای استفاده از چندین GPU در یک ماشین، می‌توانید از API tf.distribute.MirroredStrategy استفاده کنید:

strategy = tf.distribute.MirroredStrategy()
 
با strategy.scope():
    model = Sequential([
        Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28, 1)),
        MaxPooling2D((2, 2)),
        Conv2D(64, (3, 3), activation='relu'),
        MaxPooling2D((2, 2)),
        Conv2D(64, (3, 3), activation='relu'),
        Flatten(),
        Dense(64, activation='relu'),
        Dense(10)
    ])
 
    model.compile(optimizer='adam',
                  loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
                  metrics=['accuracy'])
 
model.fit(x_train, y_train, epochs=5, batch_size=64, validation_data=(x_test, y_test))

MirroredStrategy به طور خودکار مدل و داده را در سراسر GPU های موجود توزیع می‌کند، که زمان آموزش را متناسب با تعداد GPU ها کاهش می‌دهد.

توزیع‌شده.اموزش توزیع شده

برای آموزش در مقیاس بزرگ در چندین ماشین، TensorFlow API tf.distribute.experimental.MultiWorkerMirroredStrategy را فراهم می کند:

# استراتژی MultiWorkerMirroredStrategy را ایجاد می کند
strategy = tf.distribute.experimental.MultiWorkerMirroredStrategy()
 
# استراتژی را در محدوده scope قرار می دهد
with strategy.scope():
    # مدل کانولوشنی را ایجاد می کند
    model = Sequential([
        Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28, 1)),
        MaxPooling2D((2, 2)),
        Conv2D(64, (3, 3), activation='relu'),
        MaxPooling2D((2, 2)),
        Conv2D(64, (3, 3), activation='relu'),
        Flatten(),
        Dense(64, activation='relu'),
        Dense(10)
    ])
 
    # مدل را کامپایل می کند
    model.compile(optimizer='adam',
                  loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
                  metrics=['accuracy'])
 
# مدل را آموزش می دهد
model.fit(x_train, y_train, epochs=5, batch_size=64, validation_data=(x_test, y_test))

MultiWorkerMirroredStrategy ارتباط و همگام سازی بین کارگران را مدیریت می کند، به شما امکان می دهد آموزش را به چندین ماشین با حداقل تغییرات در کد گسترش دهید.

موارد استفاده و کاربردها

شتاب دهنده GPU TensorFlow پیشرفت های چشمگیری در زمینه های مختلف ایجاد کرده است، از جمله:

بینایی کامپیوتری
- طبقه بندی تصویر
- شناسایی اشیا
- سگمنت بندی معنایی
- شناسایی چهره
پردازش زبان طبیعی
- ترجمه متن
- تولید متن
- تحلیل احساسات
- شناسایی نام نهاد
مدل های مولد
- شبکه های رقابتی مولد (GANs)
- اتوانکدرهای واریانسی (VAEs)
- انتقال سبک
- بهبود کیفیت تصویر
محاسبات علمی و عددی
- شبیه سازی فیزیکی
- شیمی محاسباتی
- بیوانفورماتیک
- مدل سازی مالی
تنظیم پارامترهای فرا و جستجوی معماری شبکه عصبی
- بهینه سازی خودکار مدل
- اکتشاف کارآمد فضای پارامترهای فرا
- کشف معماری های جدید شبکه عصبی

این فقط چند نمونه از کاربردهای گسترده شتاب دهنده GPU TensorFlow است. همانطور که حوزه یادگیری عمیق همچنان در حال تکامل است.در آینده، GPU ها نقش بسیار مهمی در گسترش مرزهای هوش مصنوعی خواهند داشت.

نتیجه گیری

در این مقاله، ما به بررسی قدرت شتاب دهی GPU TensorFlow برای کارهای یادگیری عمیق پرداختیم. ما مفاهیم کلیدی محاسبات GPU، مراحل راه اندازی TensorFlow با پشتیبانی GPU و عملیات پایه برای استفاده از GPU در کد TensorFlow خود را پوشش دادیم. همچنین، ما افزایش چشمگیر عملکرد با استفاده از GPU در مقایسه با CPU را نشان دادیم و استراتژی های آموزش چند GPU و توزیع شده برای مقیاس دادن مدل ها به مجموعه داده های بزرگتر و معماری های پیچیده تر را بررسی کردیم.

با افزایش تقاضا برای یادگیری عمیق سریعتر و کارآمدتر، GPU ها همچنان ابزار ضروری برای محققان و متخصصان خواهند بود. با بهره گیری از قدرت شتاب دهی GPU TensorFlow، می توانید امکانات جدیدی در هوش مصنوعی را آزاد کنید و به چالش های بزرگ در حوزه خود پاسخ دهید.

بنابراین، خواه شما یک مبتدی در شروع سفر یادگیری عمیق خود باشید یا یک متخصص با تجربه که به دنبال بهینه سازی مدل های خود هستید، آغوش گشودن به شتاب دهی GPU TensorFlow گامی حیاتی در دستیابی به نتایج پیشرفته و گسترش مرزهای آنچه با یادگیری ماشین ممکن است، است.

Low Gpu Utilization آموزش PyTorch با چند GPU