设为首页收藏本站

梦想风暴

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
热搜: 活动 周末
开启左侧

大数据架构和模式,第 1 部分: 大数据分类和架构简介

[复制链接]
发表于 2015-8-17 09:39:22 | 显示全部楼层 |阅读模式
本帖最后由 魔力鸟 于 2015-8-17 10:05 编辑

b1.png b2.png
b3.png
b4.png
b5.png
b6.png

使用大数据类型对大数据特征进行分类
按特定方向分析大数据的特征会有所帮助,例如以下特征:数据如何收集、分析和处理。对数据进行分类后,就可以将它与合适的大数据模式匹配:
  • 分析类型 — 对数据执行实时分析还是批量分析。请仔细考虑分析类型的选择,因为这会影响一些有关产品、工具、硬件、数据源和预期的数据频率的其他决策。一些用例可能需要混合使用两种类型:
    • 欺诈检测;分析必须实时或近实时地完成。
    • 针对战略性业务决策的趋势分析;分析可采用批量模式。
  • 处理方法 — 要应用来处理数据的技术类型(比如预测、分析、临时查询和报告)。业务需求确定了合适的处理方法。可结合使用各种技术。处理方法的选择,有助于识别要在您的大数据解决方案中使用的合适的工具和技术。
  • 数据频率和大小 — 预计有多少数据和数据到达的频率多高。知道频率和大小,有助于确定存储机制、存储格式和所需的预处理工具。数据频率和大小依赖于数据源:
    • 按需分析,与社交媒体数据一样
    • 实时、持续提供(天气数据、交易数据)
    • 时序(基于时间的数据)
  • 数据类型 — 要处理数据类型 — 交易、历史、主数据等。知道数据类型,有助于将数据隔离在存储中。
  • 内容格式(传入数据的格式)结构化(例如 RDMBS)、非结构化(例如音频、视频和图像)或半结构化。格式确定了需要如何处理传入的数据,这是选择工具、技术以及从业务角度定义解决方案的关键。
  • 数据源 — 数据的来源(生成数据的地方),比如 Web 和社交媒体、机器生成、人类生成等。识别所有数据源有助于从业务角度识别数据范围。该图显示了使用最广泛的数据源。
  • 数据使用者 — 处理的数据的所有可能使用者的列表:
    • 业务流程
    • 业务用户
    • 企业应用程序
    • 各种业务角色中的各个人员
    • 部分处理流程
    • 其他数据存储库或企业应用程序
  • 硬件 — 将在其上实现大数据解决方案的硬件类型,包括商用硬件或最先进的硬件。理解硬件的限制,有助于指导大数据解决方案的选择。
图 1 描绘用于分类大数据的各种类别。定义大数据模式的关键类别已识别并在蓝色方框中突出显示。大数据模式(将在下一篇文章中定义)来自这些类别的组合。
图 1. 大数据分类








回复

使用道具 举报

发表于 2018-3-6 16:35:38 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
回复 支持 反对

使用道具 举报

发表于 2016-3-19 02:26:25 | 显示全部楼层
我惊呆了,好贴啊,很难得的好贴












沈阳化妆学校
回复 支持 反对

使用道具 举报

发表于 2015-8-17 12:19:57 | 显示全部楼层
学习了
回复

使用道具 举报

 楼主| 发表于 2015-8-17 09:40:13 | 显示全部楼层
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|梦想风暴 ( 浙ICP备15027731号 )  

GMT+8, 2020-6-1 15:49 , Processed in 0.112940 second(s), 30 queries .

Powered by Discuz! X3.2

Design By S!|ƽ̶

快速回复 返回顶部 返回列表