大数据安全和隐私问题

大数据指的是收集海量数据，使我们能够更深入地了解数据，进而推动更优的商业决策并提升客户满意度。保障大数据安全颇具难度，不仅因为其处理的数据量庞大，还源于数据的持续流式传输、多种数据类型以及基于云的数据存储方式。大数据安全面临的主要挑战包括：

1. 安全计算。大数据技术借助分布式编程框架处理海量数据，但诸如 MapReduce 这类分布式框架缺乏完善的安全防护机制。在 MapReduce 中，数据会被拆分，然后由映射器处理并分配存储。若有人能修改映射器设置（因其无额外安全层），就可能篡改正在处理的数据，且这类不可信的映射器极难被检测到。因此，保障这些分布式编程框架中的计算安全至关重要，这是维护数据完整性的关键。

2. 保护数据与事务日志。由于数据和事务日志规模庞大，它们通常存储在具备自动分层功能的多层存储环境中。然而，自动分层无法跟踪数据位置，这种系统可能因未知的物理数据位置和不可信的存储设备暴露新漏洞，导致组织失去对数据的控制。此外，层间数据传输可能泄露用户活动和数据属性信息，为攻击者提供可乘之机。只有保护好数据和事务日志，才能维持数据的机密性、完整性和可用性。

3. 端点输入验证。大数据从包括端点在内的各种输入设备收集数据，可能会采集大量设备和应用程序的日志。但大数据接收的数据中可能包含不可信端点发送的恶意数据，这会影响组织的分析输出。因此，一大挑战在于验证大数据接收的所有输入，确保其来自可信源。

4. 非关系型数据存储的安全性。NoSQL 等非关系型数据存储正被快速应用于大数据技术中，但这类存储目前尚不成熟且安全性不足，存在诸多安全问题：数据文件无加密支持、客户端与服务器之间认证薄弱、静态数据未加密等，这些都可能引发隐私威胁。

5. 隐私保护数据分析。在将大数据技术应用于分析时，隐私是一个重要问题。随着数据收集量的增加，数据聚合与数据分析的结合可能导致用户隐私被侵犯。若数据分析外包，不可信的第三方员工可能推断出用户的个人信息。企业希望利用大数据分析工具提升客户满意度，但同时也需要确保在此过程中保护用户隐私。

6. 访问控制。大数据处理包括用户个人身份信息（PII）在内的多种敏感数据，而保护这些数据有诸多法律和合规要求。因此，需实施精细的访问控制策略，确保只有授权用户能访问敏感数据及基于这些数据集的分析结果，这是保障数据机密性的必要措施。

7. 实时安全监控。大数据基础设施及其处理的分析任务需要实时安全监控，但这一直是个难题 —— 设备生成的警报数量庞大，且其中存在大量误报。正因如此，企业往往难以对实时数据进行有效监控。

加密技术可在大数据技术的多个阶段助力数据保护，确保数据的机密性、完整性和可用性得以维持。