作者：Sunita Nadampalli

新一代的CPU因?yàn)閮?nèi)置了專門的指令，在機(jī)器學(xué)習(xí)（ML）推理方面提供了顯著的性能提升。結(jié)合它們的靈活性、高速開發(fā)和低運(yùn)營(yíng)成本，這些通用處理器為其他現(xiàn)有硬件解決方案提供了一種替代選擇。

AWS、Arm、Meta等公司幫助優(yōu)化了基于Arm處理器的PyTorch 2.0推理性能。因此，我們很高興地宣布，AWS Graviton基于實(shí)例的PyTorch 2.0推理性能比之前的PyTorch版本提高了3.5倍，Resnet50的速度（請(qǐng)參見下圖），BERT的速度提高了1.4倍，使Graviton基于實(shí)例成為AWS上這些模型最快的計(jì)算優(yōu)化實(shí)例。

AWS使用基于AWS Graviton3的Amazon Elastic Cloud Compute C7g實(shí)例進(jìn)行PyTorch推理，相對(duì)于可比較的EC2實(shí)例，跨Torch Hub Resnet50和多個(gè)Hugging Face模型，可節(jié)省高達(dá)50%的成本，如下圖所示。

這是因?yàn)锳WS Graviton3處理器是最新一代定制的AWS Graviton處理器，可為Amazon Elastic Compute Cloud（Amazon EC2）中的工作負(fù)載提供最佳價(jià)格性能。它們提供高達(dá)2倍的浮點(diǎn)性能、高達(dá)2倍的加密性能和高達(dá)3倍的ML性能，包括對(duì)PyTorch的支持。

此外，推理的延遲也減少了，如下圖所示。

我們?cè)贕raviton上的其他工作負(fù)載中也看到了類似的價(jià)格性能優(yōu)勢(shì)趨勢(shì)，例如使用FFmpeg進(jìn)行視頻編碼（https://aws.amazon.com/blogs/opensource/optimized-video-encoding-with-ffmpeg-on-aws-graviton-processors/）。

優(yōu)化細(xì)節(jié)

優(yōu)化集中在三個(gè)關(guān)鍵領(lǐng)域：

1. GEMM內(nèi)核 - PyTorch通過OneDNN后端（以前稱為MKL-DNN）支持Arm Compute Library（ACL）GEMM內(nèi)核，用于基于Arm的處理器。ACL庫(kù)為Neon和SVE優(yōu)化了GEMM內(nèi)核，適用于fp32和bfloat16格式。這些內(nèi)核提高了SIMD硬件利用率并降低了端到端推理延遲。

2. bfloat16支持 - Graviton3中的bfloat16支持允許有效部署使用bfloat16，fp32和AMP（自動(dòng)混合精度）訓(xùn)練的模型。標(biāo)準(zhǔn)fp32模型通過OneDNN快速數(shù)學(xué)模式使用bfloat16內(nèi)核，無(wú)需模型量化，與不帶bfloat16快速數(shù)學(xué)支持的現(xiàn)有fp32模型推理相比，性能提高了兩倍。

3. 原始緩存 - 我們還為conv、matmul和inner product運(yùn)算符實(shí)現(xiàn)了原始緩存，以避免冗余的GEMM內(nèi)核初始化和張量分配開銷。

如何利用這些優(yōu)化

最簡(jiǎn)單的方法是使用Amazon Elastic Compute Cloud（Amazon EC2）C7g實(shí)例或Amazon SageMaker上的AWS Deep Learning Containers（DLC）。DLC可在Amazon Elastic Container Registry（Amazon ECR）上提供AWS Graviton或x86。有關(guān)SageMaker的更多詳細(xì)信息，請(qǐng)參閱在基于AWS Graviton的實(shí)例上運(yùn)行機(jī)器學(xué)習(xí)推理工作負(fù)載（https://aws.amazon.com/blogs/machine-learning/run-machine-learning-inference-workloads-on-aws-graviton-based-instances-with-amazon-sagemaker/）以及Amazon SageMaker添加了八個(gè)基于Graviton的實(shí)例以進(jìn)行模型部署（https://aws.amazon.com/about-aws/whats-new/2022/10/amazon-sagemaker-adds-new-graviton-based-instances-model-deployment/）。

使用AWS DLC

要使用AWS DLC，請(qǐng)使用以下代碼：

udo apt-get update
sudo apt-get -y install awscli docker


# Login to ECR to avoid image download throttling
aws ecr get-login-password --region us-east-1 
| docker login --username AWS 
  --password-stdin 763104351884.dkr.ecr.us-east-1.amazonaws.com


# Pull the AWS DLC for pytorch
# Graviton
docker pull 763104351884.dkr.ecr.us-east-1.amazonaws.com/pytorch-inference-graviton:2.0.0-cpu-py310-ubuntu20.04-ec2


# x86
docker pull 763104351884.dkr.ecr.us-east-1.amazonaws.com/pytorch-inference:2.0.0-cpu-py310-ubuntu20.04-ec2

如果您喜歡通過pip安裝PyTorch，請(qǐng)從官方repo安裝PyTorch 2.0 wheel。在這種情況下，在啟動(dòng)PyTorch之前，您將需要設(shè)置兩個(gè)環(huán)境變量，如下面的代碼所述，以激活Graviton優(yōu)化。

使用Python wheel

要使用Python wheel，請(qǐng)參考以下代碼：

# Install Python
sudo apt-get update
sudo apt-get install -y python3 python3-pip


# Upgrade pip3 to the latest version
python3 -m pip install --upgrade pip


# Install PyTorch and extensions
python3 -m pip install torch
python3 -m pip install torchvision torchaudio torchtext


# Turn on Graviton3 optimization
export DNNL_DEFAULT_FPMATH_MODE=BF16
export LRU_CACHE_CAPACITY=1024

運(yùn)行推斷

可以使用PyTorch TorchBench測(cè)量CPU推理性能改進(jìn)，或比較不同的實(shí)例類型：

# Pre-requisite: 
# pull and run the AWS DLC
# or 
# pip install PyTorch2.0 wheels and set the previously mentioned environment variables


# Clone PyTorch benchmark repo
git clone https://github.com/pytorch/benchmark.git


# Setup Resnet50 benchmark
cd benchmark
python3 install.py resnet50


# Install the dependent wheels
python3 -m pip install numba


# Run Resnet50 inference in jit mode. On successful completion of the inference runs,
# the script prints the inference latency and accuracy results
python3 run.py resnet50 -d cpu -m jit -t eval --use_cosine_similarity

性能基準(zhǔn)測(cè)試

您可以使用AmazonSageMaker推理推薦實(shí)用程序（https://docs.aws.amazon.com/sagemaker/latest/dg/inference-recommender.html）來(lái)自動(dòng)化不同實(shí)例之間的性能基準(zhǔn)測(cè)試。使用推理推薦程序，您可以找到實(shí)時(shí)推理端點(diǎn)，該端點(diǎn)可以為給定的ML模型以最低的成本提供最佳性能。我們通過在生產(chǎn)端點(diǎn)上部署模型，使用推理推薦器筆記本收集了前面的數(shù)據(jù)。有關(guān)推理推薦程序的更多詳細(xì)信息，請(qǐng)參閱GitHub repo（https://github.com/aws/amazon-sagemaker-examples/blob/main/sagemaker-inference-recommender/huggingface-inference-recommender/huggingface-inference-recommender.ipynb）。我們?yōu)檫@篇文章測(cè)試了以下模型：ResNet50圖像分類（https://pytorch.org/hub/pytorch_vision_resnet/）、DistilBERT情緒分析（https://huggingface.co/distilbert-base-uncased-finetuned-sst-2-english）、RoBERTa填充掩碼（https://huggingface.co/roberta-base）和RoBERTa情緒分析（https://huggingface.co/cardiffnlp/twitter-roberta-base-sentiment）。

結(jié)論

AWS通過Torch Hub Resnet50中基于AWS Graviton3的亞馬遜彈性云計(jì)算C7g實(shí)例，以及相對(duì)于可比EC2實(shí)例的多個(gè)擁抱人臉模型，為PyTorch推理節(jié)省了高達(dá)50%的成本。這些實(shí)例可在SageMaker和AmazonEC2上獲得。AWS Graviton技術(shù)指南（https://github.com/aws/aws-graviton-getting-started）提供了優(yōu)化的庫(kù)和最佳實(shí)踐列表，這些庫(kù)和最佳做法將幫助您在不同的工作負(fù)載中使用Graviton實(shí)例實(shí)現(xiàn)成本效益。

如果您發(fā)現(xiàn)在AWS Graviton上沒有觀察到類似性能提升的用例，請(qǐng)?jiān)贏WS Gravaton技術(shù)指南（https://github.com/aws/aws-graviton-getting-started）上提交問題，讓我們了解它。我們將繼續(xù)添加更多性能改進(jìn)，使Graviton成為使用PyTorch進(jìn)行推理的最具成本效益和效率的通用處理器。