为内容评分的逐步过程

想一想你的团队最近发表的一篇内容。从0到100分，你会给它打几分？你的评级对你的公司有什么帮助？

难倒了？考虑一下Jared Whitehead设计的内容表现评分方法。

Jared是Red Hat营销运营部门的一名分析师。经过10年的发展和收购，这家B2B技术公司发现自己在内容处理上处于“持续混乱”之中。

Leigh Blaylock管理着Red Hat的全球内容战略小组，并与Jared一起工作，他指出，该公司“进行了如此多的收购，如此多的产品，如此多的营销团队”，以至于没有人知道什么内容是有意义的，什么内容是应该拒绝的。

去年，Jared、Leigh和他们的同事开始着手控制Red Hat的内容。他们想弄清楚他们有什么内容，他们想保留什么，什么在表演，什么不在表演，甚至“表演”是什么意思。

他们是这样做的:

• 建立了一个内容评分团队
• 标准化内容类型
• 审核了内容
• 开发了一种内容评分方法
• 创建了概念验证

这是他们继续做的事情:

• 找热心人推广他们的评分方法
• 发展内容评分方法
• 定期审核内容

Red Hat的新内容评分方法正在证明其商业价值，它为内容团队提供了一种一致的方法来评估各个内容的表现，这样每个人都知道对什么内容说不或说是。

Leigh和Jared在Red Hat的内容评分中分享了这一计划:在智能内容大会上构建和应用可重复的性能模型演示。

1.建立一个内容评分团队

Jared描述了关于如何建立内容记分卡的两个思想流派:

• 一个内容组开发了一种评分方法，其他人可以遵循。
• 一个跨部门小组开发了一种适用于所有人的评分方法。

这两种方法都可行。选择对你所处环境中的人和内容有意义的事情。无论哪种方式，选择那些对内容有全面了解并对用于创建、标记、分发和管理内容的系统有所了解的人来为绩效评分方法做出贡献。

对于Red Hat来说，这意味着Jared涉及营销内容团队，该团队对公司的营销资产和内容系统有全面的了解，从品牌到产品营销，再到企业营销。团队成员可以说，“这是我们的CMS，这是我们的分类法。这是我们分析内容的方式。这些是我们可以利用的工具。这就是我们如何利用它们来获得我们想要的东西。”

当你有了解要评分的内容和支持该内容的系统的人时，你对团队需要的其他技能有更好的感觉。对于某些事情，你可能想要雇佣帮手；对于其他事情，员工可能是自然的选择。

Red Hat聘请了图书管理员Anna McHugh加入这个团队。杰瑞德和利称她为该项目的摇滚明星。“她看到了所有的营销资产，”利说。“她知道什么是可用的，她在分析这些资产方面做得非常出色。”

贾里德补充道，“我可以写一部关于安娜这个角色的小说。除了图书管理员之外，她还成了馆长。也是一名分析师。她做所有的事情。”

2.标准化您的内容类型

Red Hat团队在2012年通过标准化其内容类型(白皮书、数据表、信息图表等)启动了该计划。–整个营销组织。它希望所有业务部门对公司制作的每种类型的内容有一个共同的理解。

为了完成这项基础治理工作，Red Hat邀请了每个营销团队的代表加入一个核心团队，为他们所处理的内容类型制定标准。

如果您像Red Hat一样，以跨职能团队的方式处理内容评分，那么您需要跨部门标准化内容类型。另一方面，如果您是一个开发评分方法的内容组，您不需要从其他组中收集代表，但您仍然需要标准化您组中的内容类型。

3.审核您的内容

接下来，Red Hat团队用内容审计清理了它的房子。它的资源库——redhat.com上面向外部的内容存储库——已经增长到1700多项资产。利、贾里德和安娜不知道哪些是过时的或不相关的，但他们知道他们有很多清洁工作要做。“这就像一个充满灰尘的空间，”利说，“导致游客鼻窦感染，然后离开，再也不想回来。”

他们必须找到一种方法来识别并获得删除许可，这些内容资产由多个团体拥有，这些团体在这些资产上投入了时间和金钱。他们发现了419项超过18个月的内容资产，将这些资产列在一个共享表上，确定所有者，并要求他们决定哪些资产需要保持可用。

由于该团队不能指望内容所有者一次检查完所有这些资产，他们做了几个月的滚动审计，每周检查25项资产。每周，他们给每篇文章的内容所有者发一封电子邮件，给他们一周的时间来证明任何文章都应该保留在资源库中。利解释道:

我们不想要一个简单的“放在那里”或“不放在那里”。我们想了解他们为什么要把它留在那里。它是否被用于培育活动或促销活动？如果是这样，我们有时可以建议一个替代方案。

最终，通过清除腐败(冗余、过时、琐碎的内容)，他们将1700多项资产减少到了1200项。

4.开发内容评分方法

清理店铺后，红帽团队将注意力转向分析剩余的1，200个内容资产。Jared创建了一种适用于所有内容类型和内容组的内容评分方法。

由于所有营销团队都使用相同的网络分析平台，Jared使用该工具来了解对他们来说什么是重要的。他的发现按内容类型显示了以下重要指标:

• 博客——在页面上停留的时间或页面滚动的百分比
• 视频——人们点击播放的次数或视频观看的百分比
• pdf–下载次数

换句话说，根据小组或内容类型，人们有各种方式来决定，“我们赢了。我们在做我们的工作。”Jared设计了一种通用的内容表现评分方法。他需要让每个人都说同一种语言。

这种数字的通用语必须适用于喜欢分析的极客方面的人，也适用于喜欢简单英语的人:这些内容有用吗？它做了我们想要它做的吗？

Jared设计了一种评分方法，给每个内容资产一个0到100之间的总分数。 这个数字来源于四个子分数——数量、完成、轨迹和最近——每个分数都是0到100之间的数字。总得分包括一个加权因子，该因子说明了给定资产的每个子得分的相对重要性。

卷

量子分数是流量的相对量度。“这个数字是相对于我们资源库中的所有其他宣传资料而言的。它并不特定于某个特定的内容类型，”Jared说。

体积分数说明了意识。这是一个排名。它显示了相对于网站上其他资源的浏览量，有多少人看到了给定的资源。

例如:如果一个包含可下载白皮书的Red Hat网页的流量超过其他包含可下载资产的Red Hat网页的60%,则该网页的量得分为60分(满分为100分)。

完成

完整的子分数是下载资产的访问者的百分比。

例如:如果90个访问者中有40个在给定的页面上下载白皮书，那就是44%的下载率。该页面的完整订阅分数为44分(满分100分)。

轨道

轨迹子分数反映了一种趋势。

例如:在第一个月，一个网页有900个访问者。第二个月，600名访客。第三个月，300名访客。该页面的流量正在下降。在Red Hat，负斜率相当于轨迹分量为0。

如果在这三个月中访问量增加，轨迹子得分将反映正斜率。斜率越高，轨迹得分越高。

例如，一项资产在第一周有10次访问，第二周有20次，第三周有30次。这项资产的斜率(上升/下降)是30除以3，等于10。这种计算是如何分解的:

增加30(第一周增加10+第二周增加10+第三周增加10)

超过(除以)

三次运行(周数)

Jared说，根据你希望从分析中收集的信息和对你的组织最有用的信息来确定轨迹尺度。每个公司对强斜率的定义不同。例如，如果你认为斜率为10，如上所示，是很强的-解释为该资产平均每周获得10个额外的访问者-你可以在你的轨迹表上给它100分。您可以任意确定您的斜率点比例(任何大于X的斜率都会得到Y点) 或者，你可以评估所有资产的平均斜率，并根据该分布确定你的规模。

Red Hat团队明白异常值会影响斜率。它可能一个月没有视图，第二个月没有视图，第三个月有两个视图(异常值)。轨迹在上升。虽然这是一个积极的迹象，但并不一定表明交通稳定。“最近”子得分中考虑了异常值，这表明在您的分析窗口期间流量是否保持稳定。

崭新

“最近”子分数认可保持其价值的资产。Red Hat为每项资产设定了月度基准目标。资产根据其符合基准的次数累积点数:

• 最近一个月达到40分
• 如果上个月达到，30分
• 如果两个月前达到，20分
• 如果三个月前达到，10分

示例:Red Hat为一项资产设定了50次下载的基准，并于7月1日评估该指标。资产的最近点细分如下:

• 六月0分(下载31次)
• 五月0分(下载49次)
• 四月20分(下载51次)
• 三月10分(下载60次)

在100分中，资产在7月份的最近得分是30分(0 + 0 + 20 + 10)。

如轨迹下所述，新近得分说明了异常值。如果前两个月的数字明显较低(流量或下载量较少)，积极的轨迹(每月数字攀升)可能会与较低的新近子分数配对。Jared说，最近的subscore“提供了对轨迹的检查，告诉我们这个斜坡是否是由于交通极度不稳定而造成的侥幸，或者这个斜坡是否受到强劲、稳定的交通的支持。”

另一个例子是一个资产在第一个月、第三个月和第四个月获得高流量，但在第二个月流量很少。该资产的斜率在整体计算中仍然可能是正的，在这种情况下，如果不深入研究，你永远不会知道第二个月的流量下降了。最近得分表明一个月的低流量。“如果这是我们感兴趣的，”贾里德说，“我们会知道立即调查这项资产。”

额外的

对于每个内容资产，这四个子得分的重要性不同，并相应地进行加权。换句话说，子分数的权重对于每个内容资产来说都是唯一的，以强调团队最看重该资产的什么。每个子分数被分配一个权重百分比，使得标准化的总分数能够考虑优先级的变化。由于这种加权，一项资产的总得分可以更有效地与另一项资产进行比较。

加权是如何工作的？假设对于一个给定的内容，红帽不关心流量(量订阅)。它希望访问者在到达一个可下载资产时说，“嘿，我想知道那个主题。我要下载这个。”在这种情况下，完整的子分数比其他子分数更重要。Red Hat对完整子分数的权重高于其他三个分数，如下所示:

或者，在内容的认知部分的情况下，Red Hat可能关心有多少人获得了资产(量),而可能不关心新近性。该资产的加权百分比可能如下所示:

总分

为了计算资产的总得分，Red Hat将每个子得分乘以其加权百分比。在此示例中，内容资产的总得分为45:

总体分数不算好也不算差。只有与其余内容的总体分数相比，它才具有意义——这就是为什么分数使用加权百分比进行标准化。总分使团队能够比较各种类型的内容和指标，否则很难进行比较。

没有绝对的尺度来表明如何理解45分的总分。如果其余的内容资产平均为32，那么45就太棒了。说明这一块做的不错。但是，如果内容资产的平均分是60，那么总分45会促使团队调查为什么这段内容的表现不如其他内容。

Leigh说，这种评分方法不仅仅是回答“它表现得好吗？”团队可以查看子分数，然后说，“好的，这个作品的数量很大，但是完整的数字很糟糕。我们在竞选活动中的广告努力是否集中在击中正确的人并获得大量的流量上，而没有人想要这样？我的登陆页面无效吗？这是怎么回事？”

陷阱

像所有的评分方法一样，这种方法也有缺陷。首先， 分数低不一定意味着一段内容不行。 得分是相对的。人们需要接受解释总分的训练。贾里德举了这个例子:“当你看到0到100的分数时，你会想到90和90以上是A，80到90是B，75是c。我们的方法不是字母级的方法。”

Jared目睹的另一个陷阱是人们只看分数。“数量不是一个硬性规定。这并不意味着它是决定淘汰哪些内容的唯一数据点。 分数不是砧板。"

分数只是提供了一种评估单个内容资产性能的方法。最终，人们必须考虑分数背后的东西，并决定什么行动是有意义的。

5.为您的评分方法创建一个概念证明

内容评分不是一个快速的过程，它需要许多利益相关者。你如何让人们在这个过程中花费必要的时间——放下其他工作去做它？

Jared和Leigh建议从概念证明开始，向团队展示可以获得什么类型的新见解。

Red Hat利用这个试验期从那些将参与项目的人那里收集反馈。“当你称某样东西为概念证明时，他们更愿意给你批评性的、有帮助的反馈，而不是只是浏览一下，然后说，‘不，那在这里行不通，’”Leigh说。

Red Hat的概念验证是作为电子表格工作簿中的分析沙箱构建的，数据来自其web分析平台上的API。将数据放入工作簿后，Jared构建了函数和计算，将数据汇总到一个实验性的内容评分模型中。然后，他将这些数据作为CSV文件共享给其他人查看和评论。

一旦利益相关者批准并审查了内容评分模型，内容团队就以路演的方式展示该模型:他们与营销领导团队和一些营销团队进行会谈，以收集反馈并鼓励采用。从那时起，在更多的营销人员理解了该模型及其潜力后，Red Hat的同事开始要求Jared、Leigh和Anna进行分析。

该团队围绕以下问题设计了概念验证:“什么方法能给我们想要的东西？”这需要大量的白板会议和大量的数学计算。一旦他们构建了(理论上)他们想要的东西，Jared就开始“在一个可刷新的、活跃的状态下”构建它，这样我们就可以在其他人接触它时测试和调整模型

当前迭代离概念验证工作簿不远了。Red Hat正在进入最后阶段，它将包括一个仪表板实用程序，每天更新，营销部门的每个人都可以看到。

以下是Jared对创建概念证明的建议:

从某件事开始。任何事。如果你对自己想要完成的事情有一个想法或总体感觉，那么就用你现有的东西去做你能做的事情。如果其他人能看到并摆弄一个原型，他们会更容易理解你的过程和目标。

6.找热心人推广你的评分方法

在你的概念验证之后，一旦你有了一个评分方法，你的工作才刚刚开始。如果你把你的方法扔在那里，然后走开，“它会在一个月内死去。没有人会使用它，”贾里德说。

你必须是一个福音传道者。你必须相信你组织中的其他人现在就可以使用你的方法。愿意走到人们面前说，“我们有一些新东西，你可能还不习惯；我们可以带你去那里。

你一个人做不到。在你的组织中找到这样的人，当他们听到评分方法时，会很兴奋:“我可以用这个。这可以帮助我开始那些现在还没有发生的对话。”

寻找主题专家，他们将理解你的评分方法，并热情地与其他内容提供商和所有者交谈。他们会根据什么有效，什么无效来争论，比如说“我不是说你的白皮书或视频很糟糕，或者很棒。我在告诉你交通是怎么说的。”

一位受人尊敬的人说，“我们应该对这些内容做些什么，因为这就是它的表现方式”，这很难与他争辩

7.继续发展你的评分方法

你的得分方法需要改进。寻找机会获得关于人们如何与你的内容互动的新见解。例如，Red Hat有很多关于有多少人下载了它的pdf的数据，但这些数据仅限于此。正如Jared所解释的，它正在为使用更多的HTML内容建立一个商业案例:

有了HTML内容，我们可以深入到资产本身。相对于只说‘是的，他们下载了它’，我想知道，他们在那个资产上花了多少时间？他们滚动了多远？我们希望将这类信息融入到乐谱中。

考虑你想要对你的观众有什么样的见解，并寻找你的评分方法可以提供这些见解的方式。

8.定期审核您的内容

Red Hat现在每季度对其内容进行审计。“我们不想再一次花光我们所有的资产，”Leigh说。每个季度，团队都会确定18个月内未更新的资产，以及在总体得分中表现最差的20%的资产。

尽管内容年龄和分数本身并不能告诉团队要归档什么，但是这些信息可以确定要考虑归档哪些资产。“有可能，这些内容表现不佳——但也有可能，”利说。“也许两年前，我们创造了一种极具前瞻性的资产，人们刚刚开始浏览和访问它。”为了筛选出这样的片段，研究小组还记录了轨迹和最近的子分数。

然后，他们在一个共享表中列出所有可供归档的资产，确定内容所有者，并给这些所有者一个月的时间来评估哪些资产可以归档。“我们已经这样做了两个季度，每个季度看大约65项资产。我预计这个数字会下降，”利说。

她补充道，“现在，我们100%的访问者都能100%准确地找到他们需要的东西。”好吧，也许不会，她承认，“但我们确实有更好的机会让观众满意。”

结论

Red Hat营销团队已经使用其评分方法一年了，并期待着做更多的工作。“Red Hat的许多团队将从了解内容的表现中受益，”Jared说。“这远远超出了内容团队的范畴。”

有问题要问利和杰瑞德吗？有自己的见解要分享吗？请在评论中告诉我们。