想提高计算速度？作为数据科学家你应该知道这些Python多线程、进程知识(4)

现在让我们在这个任务中引入一些并行性来加快速度。在开始编写代码之前，我们必须在线程和多处理之间做出决定。正如你目前所了解到的，当任务的瓶颈是 IO 时，线程是最好的选择。这里的任务显然属于这一类，因为它正在通过 Internet 访问 IMAP 服务器。所以我们要开始使用线程了。

我们将要使用的大部分代码将与我们在顺序案例中使用的代码相同。唯一不同的是，我们将把 100 个电子邮件 ID 的列表分成 10 个较小的块，每个块包含 10 个 ID，然后创建 10 个线程，并使用每个线程的不同块调用 download_emails 函数。我正在使用 python 标准库中的 concurrent.futures.threadpoolexecutor 类进行线程处理。

import imaplib  
import time  
from concurrent.futures import ThreadPoolExecutor  
IMAP_SERVER = 'imap.gmail.com'  
USERNAME = 'username@gmail.com'  
PASSWORD = 'password'  
 
def download_emails(ids): 
   client = imaplib.IMAP4_SSL(IMAP_SERVER) 
   client.login(USERNAME, PASSWORD) 
   client.select() 
   for i in ids: 
       print(f'Downloading mail id: {i.decode()}') 
       _, data = client.fetch(i, '(RFC822)') 
       with open(f'emails/{i.decode()}.eml', 'wb') as f: 
           f.write(data[0][1]) 
   client.close()  
 
start = time.time()  
 
client = imaplib.IMAP4_SSL(IMAP_SERVER)  
client.login(USERNAME, PASSWORD)  
client.select() 
 
_, ids = client.search(None, 'ALL')  
ids = ids[0].split()  
ids = ids[:100]  
client.close()  
 
number_of_chunks = 10  
chunk_size = 10  
executor = ThreadPoolExecutor(max_workers=number_of_chunks)  
futures = [] 
 
for i in range(number_of_chunks): 
   chunk = ids[i*chunk_size:(i+1)*chunk_size] 
   futures.append(executor.submit(download_emails, chunk)) 
 
 
for future in concurrent.futures.as_completed(futures): 
   pass  
print('Time:', time.time() - start) 

所用时间：9.841094255447388 秒。

如你所见，线程大大加快了它的速度。

场景 2：使用 scikit learn 进行分类

假设你有一个分类问题，你想使用一个随机森林分类器。由于这是一种标准的、众所周知的机器学习算法，我们不需要重新发明轮子，而只需使用 RandomForestClassifier 即可。

以下代码用于演示。我使用助手函数 sklearn.datasets.make_classification 创建了一个分类数据集，然后在此基础上训练了一个 RandomForestClassifier。另外，我正在计时代码中完成模型拟合核心工作的部分。

from sklearn.ensemble import RandomForestClassifier  
from sklearn import datasets  
import time 
 
X, y = datasets.make_classification(n_samples=10000, n_features=50, n_informative=20, n_classes=10)  
 
start = time.time()  
model = RandomForestClassifier(n_estimators=500)  
model.fit(X, y)  
print('Time:', time.time()-start) 

任务花费时间：34.17733192443848 秒。

（编辑：ASP站长网）