一个例子：对取消终身教职的批判性评价

以下论证中研究证据被用来证实其结论，现在让我们使用上述针对研究的问题来对下面的论证做出评估。

根据《时代周刊》进行的一项调查，现在是时候在公立学校体系中取消终身教职了。这项调查询问美国人他们对公立教育的现状有什么看法。调查设计的众多问题当中就有：现行政策应该怎样改变才能让公立教育体系变得更好？下面这一报道的结果显示了美国公众对于终身教职体制的严重不满：28%的调查对象支持现行的教师终身制，这种制度让教师有了铁饭碗很难失业；56%的调查对象认为获得终身教职的吃长俸的教师失去努力工作的动力。

这个调查是采用电话访问的方式在2010年8月进行的，在全国范围内随机抽取1 000名18岁及以上的成人进行了访问。

这个证据的证明效力怎么样？在这里这项研究是以非批判性的方式展现出来的，我们看不到任何强势批判性思维的迹象。报告没有提到任何有关这项研究的特别的长处或是不足，尽管它确实也提供了有关抽样程序的一点粗略的细节，这样我们就可以推断出它作为一个概括性结论的基础其价值之所在。没有任何迹象显示这一研究有没有重复被人做过，对于提高公立教育质量所需采取的具体措施这个更大范围内的研究，我们也不知道它合不合适。我们同样不知道发表这些研究结果可能给做出这一论证的人带来什么样的好处。

有没有什么过度概括的证据？样本相对而言还是足够大的，而且据说也是随机抽取的，这是它的两个优点。但是这一研究是利用电话进行访问的，因此我们无从得知是哪种挑选因素促使人们选择参加这样的调查。同样，我们也不知道调查中是不是使用了手机，因此受访者的参与度有可能会对“只用手机”的人构成偏见。我们不可能判定样本的覆盖率，因为根本不知道电话回答代表了普通大众的哪些方面。比如，有些地区、有些职业、有些年龄段的人是否比其他人群抽取得更多？如果提供更多信息，介绍这个调查的具体情况是怎样介绍和描述给接电话的听众，以及那些自愿接受访谈的人的具体特点，将会对我们的评论更有帮助。那些自愿参与电话访谈的人中有没有可能存在着一种偏见？这些问题显示出我们应该要当心从这些结果当中得出的过度概括。

调查的问题本身有没有存在偏见？这个论证省略了两项研究结果中使用的那些问题的具体措辞，也没有列出调查中所包含的其他问题，因此我们无法判断会有什么样的排序问题或者语境偏见呈现在问卷当中。“让教师有了铁饭碗很难失业”这样的句子突出了教师长俸制消极的一面，显示出所提的这个问题是一个暗含反对教师长俸制的问题。

我们已经对上述文章提出了足够的问题，让我们小心防范这个事实断言的普遍适用性。我们还想进一步细细查看全部的研究，同时依赖更多的相关研究，然后才能得出结论说这些断言是可以信赖的。

下面让我们看一看另一个迥乎不同的证据来源。