本文针对在使用 Map 函数和 Partial 方法结合 ThreadPoolExecutor 时，for 循环仅处理第一行数据的问题，进行了深入分析和问题定位。通过修改循环的迭代方式，从直接遍历 DataFrame 列改为使用 itertuples 方法迭代 DataFrame 行，从而有效地解决了该问题，并提供了相应的代码示例和注意事项。
在使用 Map 函数和 Partial 方法处理 DataFrame 数据时，如果结合 ThreadPoolExecutor 使用，可能会遇到 for 循环只处理 DataFrame 的第一行数据就停止的问题。这通常是由于在循环中不正确地访问 DataFrame 的数据导致的。下面我们将详细介绍如何解决这个问题。
在使用 enumerate 迭代 DataFrame 的列时，实际上迭代的是 DataFrame 的列名，而不是 DataFrame 的行。因此，在循环体内部访问 DataFrame 的数据时，会出现索引错误，导致循环提前结束。
例如，以下代码：
def get_the_text(_df,_firms:list,_link_column:str):
'''
发送请求以接收文章文本
参数
----------
_df : DataFrame
返回
-------
包含文章文本的 DataFrame
'''
_df.reset_index(inplace=True)
print(_df)
for k,link in enumerate(_df[[f'{_link_column}']]):
print(k,'\n',_df.loc[k,f'{_link_column}'])
if link:
website_text=list()
# print(link,'\n','K:',k)
try:
page_status_code,page_content,page_url = send_two_requests(_df.loc[k,f'{_link_column}'])
......
.....
...
..
.在上述代码中，enumerate(_df[[f'{_link_column}']]) 迭代的是 _df[[f'{_link_column}']] 这个 DataFrame 的列名，而不是 DataFrame 的行数据。因此，在循环内部使用 _df.loc[k, f'{_link_column}'] 访问数据时，k 的值实际上是列名的索引，而不是行索引，从而导致访问错误。
要解决这个问题，可以使用 itertuples 方法来迭代 DataFrame 的行。itertuples 方法会将 DataFrame 的每一行转换为一个 namedtuple 对象，可以通过属性名来访问每一列的数据。
修改后的代码如下：
def get_the_text(_df, _firms: list, _link_column: str):
_df.reset_index(inplace=True)
print(_df)
for row in _df.itertuples(index=False):
link = getattr(row, f'{_link_column}')
print(link)
if link:
website_text = list()
try:
page_status_code, page_content, page_url = send_two_requests(link)
# Your remaining code here...
except Exception as e:
print(f"Error processing link {link}: {e}")在上述代码中，_df.itertuples(index=False) 会将 DataFrame 的每一行转换为一个 namedtuple 对象，index=False 表示不包含索引列。通过 getattr(row, f'{_link_column}') 可以访问 row 对象中名为 _link_column 的属性，即链接地址。
以下是一个完整的代码示例，演示了如何使用 itertuples 方法来解决 for 循环只处理 DataFrame 第一行数据的问题：
import pandas as pd
from functools import partial
from concurrent.futures import ThreadPoolExecutor
import requests
def send_two_requests(url):
"""模拟发送请求，返回状态码、内容和 URL"""
try:
response = requests.get(url, timeout=5)
response.raise_for_status() # 检查是否有 HTTP 错误
return response.status_code, response.text, response.url
except requests.exceptions.RequestException as e:
print(f"Request failed for {url}: {e}")
return None, None, None
def get_the_text(_df, _firms: list, _link_column: str):
"""
发送请求以接收文章文本
参数
----------
_df : DataFrame
返回
-------
包含文章文本的 DataFrame
"""
_df.reset_index(inplace=True)
print(_df)
for row in _df.itertuples(index=False):
link = getattr(row, f'{_link_column}')
print(link)
if link:
website_text = list()
try:
page_status_code, page_content, page_url = send_two_requests(link)
# Your remaining code here...
print(f"Status Code: {page_status_code}, URL: {page_url}") # 示例输出
except Exception as e:
print(f"Error processing link {link}: {e}")
# 示例数据
data = {
'index': [1366, 4767, 6140, 11898],
'DATE': ['2014-01-12', '2014-01-12', '2014-01-12', '2014-01-12'],
'SOURCES': ['go.com', 'bloomberg.com', 'latimes.com', 'usatoday.com'],
'SOURCEURLS': [
'http://abcnews.go.com/Business/wireStory/mercedes-recalls-372k-suvs-21445846',
'http://www.bloomberg.com/news/2014-01-12/vw-patent-application-shows-in-car-gas-heater.html',
'http://www.latimes.com/business/autos/la-fi-hy-autos-recall-mercedes-20140112-story.html',
'http://www.usatoday.com/story/money/cars/2014/01/12/mercedes-recall/4437279/'
],
'Tone': [-0.375235, -1.842752, 1.551724, 2.521008],
'Positive_Score': [2.626642, 1.228501, 3.275862, 3.361345],
'Negative_Score': [3.001876, 3.071253, 1.724138, 0.840336],
'Polarity': [5.628518, 4.299754, 5.0, 4.201681],
'Activity_Reference_Density': [22.326454, 18.918919, 22.931034, 19.327731],
'Self_Group_Reference_Density': [0.0, 0.0, 0.344828, 0.840336],
'Year': [2014, 2014, 2014, 2014],
'Month': [1, 1, 1, 1],
'Day': [12, 12, 12, 12],
'Hour': [0, 0, 0, 0],
'Minute': [0, 0, 0, 0],
'Second': [0, 0, 0, 0],
'Mentioned_firms': ['mercedes', 'vw', 'mercedes', 'mercedes'],
'text': ['', '', '', '']
}
# 创建 DataFrame
df = pd.DataFrame(data)
# 使用 ThreadPoolExecutor
_link_column = 'SOURCEURLS'
_firms = ['mercedes', 'vw']
get_the_text_par = partial(get_the_text, _link_column=_link_column, _firms=_firms)
with ThreadPoolExecutor() as executor:
chunk_size = len(df) if len(df) < 10 else len(df) // 10
chunks = [df.iloc[i:i + chunk_size] for i in range(0, len(df), chunk_size)]
result = list(executor.map(get_the_text_par, chunks))注意事项:
通过使用 itertuples 方法迭代 DataFrame 的行，可以有效地解决 for 循环只处理 DataFrame 第一行数据的问题。这种方法可以确保循环能够正确地访问 DataFrame 的每一行数据，从而实现预期的功能。同时，结合 ThreadPoolExecutor 可以提高数据处理的效率。在实际应用中，需要根据具体情况选择合适的迭代方式，并注意异常处理，以确保代码的稳定性和可靠性。
以上就是修复在使用 Map 和 Partial 方法后 For 循环的意外行为的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
广告Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
988
收藏
