在数据分析与处理的日常工作中，value_counts() 是 Pandas 库中极为常用的一个方法，它能够快速统计各分类值的出现频次，帮助分析师洞察数据分布。然而，不少用户在使用过程中曾遭遇一个令人困惑的现象：value_counts() 返回了空值（NaN 或空字符串），导致后续的筛选过滤操作失效。面对“value counts returns an empty value, how can I filter on it”的追问，本文将深入剖析这一问题的根源，并提供多种切实可行的解决方案。

问题的典型场景

假设你有一个包含用户评级的 DataFrame，其中一列 Rating 存储整数值，但部分单元格为空或为 NaN。当你调用 df['Rating'].value_counts() 时，正常情况应输出类似 5: 200, 4: 150, 3: 100, 2: 50, 1: 30 的结果。然而，实际输出中可能多出一行 NaN: 20，或者直接返回一个空的 Series。前者意味着空值被当成了一个类别，后者则可能是由于数据全是空值，或者 value_counts() 默认省略了空值，但用户期望看到空值的计数。

更棘手的情况是，当你想基于 value_counts() 的结果进行过滤 —— 例如只保留那些出现次数大于 10 的 Rating 值 —— 却发现空值（无论它是 NaN、None 还是空字符串）会打乱过滤逻辑，导致 filter 操作返回错误或遗漏数据。

根源剖析：Pandas 的空值处理机制

Pandas 在处理缺失数据时有一系列默认行为。value_counts() 方法有一个关键参数 dropna，默认为 True，意思是自动忽略 NaN 值。因此，如果你不显式设置 dropna=False，那么空值就不会出现在计数结果中。但很多用户并不知道这一点，当他们发现 value_counts() 结果中缺少某些理应存在的“无值”记录时，便误以为方法返回了空值。

反过来，如果数据中存在空字符串 '' 或 None（注意：None 在某些情况下不被视为 NaN），那么 value_counts() 会将其作为一个普通类别统计，导致结果中出现看似“空”的条目。此时，若用户期望过滤掉这些假空值，就需要特殊处理。

解决方案：如何正确过滤空值

方法一：显性控制 dropna 参数

当你需要计上空值时，可以改为 df['Rating'].value_counts(dropna=False)。这样所有 NaN 都会被归为一类并统计次数。如果你只想统计非空值，保持默认即可，完全无需担心空值干扰。

方法二：使用 pd.isna() 或 pd.notna() 辅助过滤

假设你已经得到了 value_counts() 的结果 s（一个 Series），想要过滤出那些索引不为空且计数大于阈值的项，可以用以下方式：

s = df['Rating'].value_counts(dropna=False)
# 过滤掉索引为 NaN 的项
s_filtered = s[s.index.notna() & (s.values > 10)]

若有空字符串索引，可用 s.index != '' 代替。

方法三：使用 groupby 替代

对于更复杂的过滤需求（例如按空值分组后统计），可以改用 groupby 与 size() 组合：

df.groupby('Rating', dropna=False).size().reset_index(name='count')

这样你能清晰看到空值所在组，并直接对组进行后续筛选。

方法四：数据清洗优先

在调用 value_counts() 之前，先统一处理空值。例如，用 fillna() 填充为特定标记（如 'Unknown'），或使用 dropna() 删除包含空值的行。这样做虽然改变了原始数据，但能让后续分析逻辑更直观。

实例演示

假设我们有一个包含 1000 条记录的 feedback 数据集，Score 列中有 12 个 NaN。以下代码展示问题与解决：

import pandas as pd
import numpy as np

# 模拟数据
df = pd.DataFrame({'Score': [1,2,3,np.nan,2,3,None,4,5,np.nan]})
print(df['Score'].value_counts())  # 默认不显示 NaN
print(df['Score'].value_counts(dropna=False))  # 显示 NaN 计数: 2

要过滤出计数大于 1 的非空值：

counts = df['Score'].value_counts(dropna=False)
valid_counts = counts[counts.index.notna() & (counts > 1)]
print(valid_counts)

输出：2: 2, 3: 2，正确过滤掉了 NaN 以及频次不足的项。

注意事项与最佳实践

  1. 明确需求：先问自己，我是否真的关心空值的频次？如果不关心，保持默认；如果关心，务必设置 dropna=False。
  2. 索引类型一致性：value_counts() 返回的索引可能包含混合类型（浮点 NaN 与整数），过滤时注意使用 notna() 而非 isnull() 的反向。
  3. 空字符串 vs NaN：空字符串 '' 在 Pandas 中是一个有效字符串，不等于 NaN。若要一并处理，需用 s.index.map(lambda x: x == '' or pd.isna(x))。
  4. 性能考量：在大数据集上使用 dropna=False 会略微增加内存，但通常可接受。

总结

value_counts() 返回空值的问题本质上是对 Pandas 缺失值处理机制理解不足所致。通过掌握 dropna 参数、善用 notna() 过滤以及必要的预处理，数据分析师完全可以轻松绕过这一陷阱。记住：空值不是 bug，而是数据中蕴含的信息。当你能自如地过滤和统计空值时，你的数据洞察力将再上一个台阶。对于标题中“how can I filter on it”的困惑，答案已经明晰：看清空值的真实身份，然后对症下药。