《OSINT分析》01. 情报分析概述

发表于2024-10-11更新于2024-10-11

本系列侧重方法论，各工具只是实现目标的载体。
命令与工具只做简单介绍，其使用另见《软件工具录》。

1：概述

情报（Intelligence），可以定义为通过搜集、整合、处理、分析所涉及对象相关的现有信息，并进行解读所获得的结果。

  • 情报包括开源情报、闭源情报、人力情报、信号情报等
  • 情报搜集的技术手段包括但不限于利用传感装置收集物理空间信息、拦截天线雷达信号、通过网络搜集信息、通过社会工程学、人力搜集情报等

开源情报（Open Source Intelligence，OSINT），其定义随时间和技术发展而变化，但核心都是利用并分析公开的信息资源来支持决策过程。

  • 开源情报依赖于公开数据资源，可以是数字化的，如网站、社交媒体；也可以是非数字化的，如报纸、研究报告等
  • 开源情报与其他情报搜集方法不同，后者可能涉及机密或非公开的数据
  • 开源情报补充了传统的秘密情报，随着现代社会信息化，在很多情况下成为了主要的情报来源

开源情报的应用领域：

  • 国家安全和地缘政治风险
    • 利用开源情报补充情报来源
    • 协助进行政治和军事分析
    • 维护国家内部安全，识别潜在的恐怖主义
    • 监测经济和科技发展
  • 网络空间安全
    • 收集和分析威胁情报
    • 监测和分析漏洞与恶意软件
    • 支撑安全监控与应急响应
  • 社会公共安全
    • 利用开源信息预测和响应自然灾害
  • 商业竞争
    • 分析市场趋势、客户需求、竞争对手等
  • 个人和集体学术研究
    • 利用公开资料进行文献研究和数据分析

2：情报分析思维

2.1：关键理念

对于情报分析，有以下理念：

  • 情报分析的目的是为了帮助分析者进行决策，但情报分析本身也是一种决策形式，是决策过程的一部分
  • 情报分析的过程为不断根据现有信息进行判断，同时处理固有的不确定性，以此为重要决策和行动提供基础
  • 情报分析需要分析者的思考是审慎、严谨、可辩证和尽可能透明的。要进行批判性思考，避免认知偏见
  • 情报分析是动态变化的，要根据新信息重新评估。但想要在分析时涵盖所有信息是不可能的

预测性分析与解释性分析：

  • 预测分析是至高目标，但也可能是最难成功实现的目标
  • 对未来的不确定程度取决于对未来的展望有多远
  • 要利用情报进行实际的预测性分析，而避免滑入对已发生事件进行详细解释的舒适区
  • 对于得出的结论，要能够解释原因，并考虑可能的替代方案

情报分析的其他关键点：

  • 情报分析是困难的。要进行任务规划，并在分析期间对时间线进行回溯
  • 期望与目标可以是现实的，也可以不是
  • 对事件的类比和比喻可能产生帮助，也可能产生阻碍
  • 要明确哪些是事实、哪些是推理判断。
  • 情报分析中，归纳推理比演绎推理更常用
  • 试图预测人类的行为是一件充满危险性的事
  • 因果律：通过因果关系的思维，可以发现一些隐含规律，并尝试寻找背后的原因

2.2：情报工作者

在情报分析从业者中，普遍认为信息和情报是有区别的：信息被认为是未经分析的数据，而情报是被分析过的信息。
这意味着情报分析人员在信息和情报的转换中扮演着重要角色。

以下是网络上对情报分析人员工作的不同定义：

  • 分析人员的工作就是要理解大量复杂信息的含义：理解和解释当前形势，重构导致当前形势的过去，并以此为基础预测未来
  • 情报分析员有两个主要目标：减少情报用户的不确定性和最大限度地利用稀缺资源。这两个目标能够增强情报用户对威胁局势的控制力
  • 情报分析是为了协助决策者作出正确决策：情报分析的核心任务是帮助决策者更有效地处理实质性的不确定性。特别是为军事攻击和其他威胁提供及时的预警

作为情报分析人员，需要具备以下几点：

  • 即使在这个日益技术化的世界，情报分析人员必须努力理解人类的状况，包括自己本身。每个人都是相关背景、社会和个人思维模式的产物，所有的这些都影响着分析人员的感知，且由此产生的认知偏见可能会对情报分析产生不利影响
  • 情报分析人员要了解情报能做什么和不能做什么，必须对什么是可能的和什么是不可能的有一个基础性的理解。因为个人的理解会影响做出的判断和决定

2.3：情报问题处理

情报问题，是情报分析的核心。是分析者目前没有知识来回答的问题。尽管提供这种知识的信息可能已经在手。

  • 问题，是某种背景下的未知实体
  • 找到或解决这个未知问题具有价值

有些问题可以有把握地回答，而有些问题只能提供有根据的猜测或估计。
有些问题是可以解决的，而有些问题则无法解决。
理解问题的方式会影响分析者研究问题的方式，以及最终提供的回答。

理解与处理问题的关键点：

  • 实际问题是什么
  • 解决问题需要了解什么
  • 如何解决问题

2.3.1：常见情报问题

情报分析者要处理各种问题。一些常见问题如下：

  • 来自 X 的威胁是什么
  • X 的意图是什么
  • Y 接下来会做什么
  • Z 的相关专业能力如何
  • 目标在哪里
  • 如果我们这样做，目标会怎么做
  • 刚刚发生了什么
  • 为什么会发生
  • 我能依靠这些信息吗

2.3.2：问题性质 & 背景

影响问题性质的关健因素之一是时间，即问题是何时产生的：

  • 问题发生在过去：试图了解已经发生的事情
  • 问题发生在现在：试图了解正在发生的事情
  • 问题发生在未来：试图了解将会发生什么

一些有助于了解问题背景的问题：

  • What is the problem？（问题是什么）
  • Why have I been asked this question？（为什么有人问我这个问题）
  • Why is the question being asked？（为什么要问这个问题）
  • Why is this considered a problem？（为什么认为这是一个问题）
  • Why now？（为什么是现在问）
  • Why am I doing this？（我为什么要这么做）
  • How long have I got？（我还有多长时间解决问题）
  • Who am I doing it for？（我在为谁做这件事情）
  • Who is the audience？（我的目标受众/客户是谁）
  • How will the response be used？（如何进行回复）
  • What is the requester expecting me to provide in response？（请求者希望我提供什么答复）

有助于找出根本原因，处理实际问题的方法：

  • 循环提问法（5 个为什么）
  • 多种重述法

2.3.3：示例 - 循环提问法

解决实际问题的一种方法是 “ 5 个为什么 ” 法，即问 5 次 “ 为什么 ” 以找到问题的根源。

一个非军事方面的例子：

  • 一家公司决定寻找最具成本效益的人员招聘方法。

从表面上看，问题的解决在于确定一系列招聘战略，然后选择最有性价比的。然而，这可能无法真正解决人员配置方面的实际问题。

5 个为什么：

  1. 为什么需要确定最具成本效益的人员招聘方法？—— 因为目前在招聘新员工方面花费了大量资金
  2. 为什么要花费大量资金招聘新员工？—— 因为不得不更换大量员工
  3. 为什么不得不更换大量员工？—— 因为很多员工离开了公司
  4. 为什么很多人离开公司？—— 因为他们对管理层和领导层不满意
  5. 为什么人们对管理层和领导层不满？—— 因为没有人知道发生了什么，如何做出决定，以及公司最终是否还有未来

这项工作的重点是找出根本原因，找到实际问题。

在这个案例中，可以看到最初的招聘问题实际上是留住人才的问题。

2.3.4：示例 - 多种重述法

另一种更好理解问题的方法是，用多种方式重述问题，以便让问题更具体。

问题更具体的好处在于可以更好地确定研究重点，更容易确定哪些是相关的，哪些是不相关的。

示例：

  • 出国旅游的人面临哪些风险？

这个问题非常宽泛，缺乏定义和具体内容。

相比之下，“ 前往 X 国旅行的人面临哪些安全风险？” 有了更具体的问题定义，便于对问题进行评估。

3：互联网 & 信息检索

3.1：互联网层级

据不完全统计，表层网络中的信息仅包含整个互联网内容的 4% 左右，其余部分属于深网和暗网。

Alt text

表网（Surface Web，表层网络）：

  • 也称为 Visible Web、Indexed Web、Light Net
  • 通过传统搜索引擎索引，可通过传统互联网正常访问
  • 例如：YouTube、Twitter、Bilibili 等

深网（Deep Web，深层网络）：

  • 传统搜索引擎可能未索引，但可通过传统互联网访问
  • 可能需要身份验证或特殊权限才能访问，并可能因隐私或安全原因受到保护
  • 例如：需要登录才能检索的论坛、账户个人信息、个性化数据、政府报告等

暗网（Dark Web）：

  • 暗网是故意隐藏的部分，需要特定的软件和配置才能访问
  • 作为深网的子集，技术上属于深网的一部分，常被用于确保隐私和匿名性

对于很多网络资源，其内容可以分布在表网、深网和暗网之间，并不一定只属于某一层级。

3.2：网络信息检索

在信息充斥的时代，面临的挑战不仅仅是获取信息，更在于了解搜索信息的途径与方法。

在网络信息获取上，尽管 Google 占据主导地位，但对于情报工作者而言，往往需要超越 Google 之类的传统范畴进行思考，千万不要把目光局限于一个平台。

除此以外，搜索算法和 cookie 会改变展示的搜索结果，并根据不同搜索者进行个性化展示。

  • 在希望进行不受个人浏览历史、行为和指纹影响的搜索时，这可能带来挑战
  • 因此，在寻求优质信息、发现独特领域视角、验证调查结果时，查看多个搜索引擎的结果至关重要

在信息检索上，在线社区与社交网络之间具有众多相似之处，二者的界限日益模糊。

  • 社交网络面向广大用户，覆盖多样化的兴趣领域
  • 各类社区通常与特定服务或生活方式紧密相关

部分在线社区未能被搜索引擎索引。

4：补充知识

4.1：隐私防护 & 身份伪造

一些机构和公司可能使用各种各样的手段监控互联网：通过遗留在互联网上的痕迹，利用互联网记录与追踪技术，描绘虚拟画像，以此映射现实世界中的每个人。

  • 监控记录：IT 基础设施、OS、登陆 IP 等
  • 虚拟画像：普通人可用于推销，情报工作者可用于监控行为

在一些网络平台，可能需要注册账号才能访问相关资源。

  • 对于情报调查人员来说，拥有一个空账号可能足以调查，但是账号缺乏个人信息可能会显得可疑，且可能会被封禁
  • 在调查中，目标可能会针对情报调查者所使用账号的公开信息进行反向狩猎研究
  • 因此，应该在调查账号中填充一定量的虚假细节，且不应该提供任何与真实身份有关的东西（包括兴趣、职业等）

伪造一个自己掌握的身份信息，比较重要的属性：

  • 头像
  • 姓名
  • 个人背景

对于一些需要提供手机号的平台，可以使用接码平台。

4.2：搜索引擎的运作机制

核心环节可分为三部分：爬行、索引、查询。

  1. 爬行：各类通用搜索引擎均具备专属爬虫机器人。这些爬虫持续在互联网上爬取新网站、新网页以及现有网站和网页的更新内容
  2. 索引：当爬虫抓取新内容后，便在数据库中为其建立索引。此过程涉及与索引相关的策略，决定关键字及网站的展示顺序
  3. 查询：用户在搜索引擎查询时，系统将在数据库中检索相应关键字，为用户提供匹配的结果

4.3：相关法律

开源情报依赖于公开数据资源，但收集和使用需遵守法律。要合法、合规地收集和使用信息，避免侵犯隐私权、违反版权法、网络安全法、个人信息保护法和数据安全法等。

国家安全法：

  • 第二条：国家安全是指国家政权、主权、统一和领土完整、人民福祉、经济社会可持续发展和国家其他重大利益相对处于没有危险和不受内外威胁的状态，以及保障持续安全状态的能力
  • 第十一条：中华人民共和国公民、一切国家机关和武装力量、各政党和各人民团体、企业事业组织和其他社会组织，都有维护国家安全的责任和义务

网络安全法：

  • 第四十一条：网络运营者收集和使用个人信息应当遵循合法、正当、必要的原则，公开收集使用规则，明确收集使用信息的目的、方式和范围，并经数据主体同意
  • 第四十二条：任何个人和组织不得非法收集、使用、加工、传输、提供、公开个人信息，不得非法制售、提供或获取个人信息

数据安全法：

  • 第二十一条：数据处理者应当依法向数据主体告知数据处理的目的、方式、类型等信息，并取得同意。重要数据的处理还需符合国家规定的要求
  • 第三十一条：跨境提供数据时，需符合国家网络和数据出口的相关规定，确保数据的安全

个人信息保护法：

  • 第三十六条：个人信息处理者在进行个人信息处理活动时，应当确保处理活动的合法性、正当性、必要性，不得过度处理个人信息
  • 第四十一条：跨境传输个人信息需符合国家规定，可能需要通过安全评估、提供保证措施等方式

著作权法：

  • 第二十二条：著作权人享有的权利包括复制权、发行权、出租权、展览权等。使用他人的著作时，需获得著作权人的授权，或确保符合合理使用的条件
  • 第二十五条：转载或引用他人合法公开的作品，用于报纪、评论、教育等，应当在合理范围内，且不得侵犯著作权人的合法权益

反不正当竞争法：

  • 第九条：经营者不得通过技术手段或其他手段，非法获取、使用或泄露他人的商业秘密

反间谍法：

  • 第八条：任何组织和个人不得为间谍组织和间谍工作提供任何形式的支持、协助、资助
  • 第二十二条：国家安全机关有权依法查处间谍行为和其他危害国家安全的行为

5：其他

5.1：相关平台

Fake ID Generator：

Fake-Name Generator：

This Person Do Not Exist：

在线接码平台：

5.2：参考资料

《什么是开源情报 (OSINT)？》：
https://www.ibm.com/cn-zh/topics/osint

《Open-source intelligence》：
https://en.wikipedia.org/wiki/Open-source_intelligence

《什么是假名化？》：
https://www.cloudflare.com/zh-cn/learning/privacy/what-is-pseudonymization/

《Google 搜索的运作方式》：
https://www.google.com/search/howsearchworks/

《Parts of the World Wide Web》：
https://pulkitmital.medium.com/parts-of-the-world-wide-web-710fdfeb7217

《The deep web, the dark web, and simple things》：
https://medium.com/@smartrac/the-deep-web-the-dark-web-and-simple-things-2e601ec980ac

《Awesome OSINT》：
https://github.com/jivoi/awesome-osint

他强由他强，清风拂山冈。他横任他横，明月照大江。

——《倚天屠龙记》金庸