微软处理海量非结构化数据的技术和解决方案

尽可能避免对多个小文件的附加操作，每个附加操作都将 创建新的Filestream文件。如果必须建议使用 varbinary(max) 在高负载的多线程系统中，可以考虑通过 OpenSqlFilestream或SqlFilestream API设置AllocationSize,减 少碎片 如果文件很大，避免使用T-SQL进行更新或附加，这样会 对tempdb有很大开销
SQL Server 能力及案例 文档存储技术发展趋势 案例讨论
提供全方位可扩展 的数据平台以满 足...
爆炸性产生的电子／ 数码数据的惊人数据 量 加速的全球化进程
关系型数据管理使 用的语法来管理...
支持统一、标准的 数据模型，例如...
...通过资源投入到...
在企业周边应用中产 生的新的数据类型
文档或多媒体数 据
机器边界
应用程序
1 写入 BLOB数据(图片) 2 返回BlobID
3
2
RBS 客户端类库 存储供应商类库
3 将BlobID 写入PhotoRef 字段
ClaimID 1 4390
ClaimDate 6/5/2007
PhotoRef <Binary(20)>
存储
SQL Server
600 500 400 Throughput (Mbps) 300 Varbinary 200 100 0 240 KB -100 480 KB 1 MB 2 MB 4 MB 8 MB Filesystem Win32 Access Gain (%)
Filestream Win32 (Filesystem) Access Filestream T-SQL
当读取FILESTREAM数据时考虑如下因素 如果仅需要读取初始的部分数据，可以使用substring函 数 如果读取整个文件，考虑使用Win32 API 当读取整个文件时，指定FILE_SEQUENTIAL_ONLY标志 程序中的缓存尽量设置为60KB的整数倍
使用文件组及分区进行负载均衡 NTFS优化 fsutil behavior set disable8dot3 1 Fsutil behavior set disablelastaccess 1 Format F:/FS:NTFS /A:64K RAID级别 磁盘接口
使用文件系统
Application 应用
BLOBs
专用的BLOB存储
Application 应用
BLOBs
BLOB存储数据库
Application 应用
BLOBs
DB
DB
DB
优势
• 存储成本最低（每GB） • 文件流(streaming)性能较高 • 备份、恢复单元较小
• 存储成本较低(大存储量场景) • 扩展性较佳
结构型和非结构型数 据集成日渐紧密 新一代应用需要使用 不同数据种类
抽象化的数据形态定 义 直接支持特种数据种 类 联邦(和祥扩展并发) 的数据管理
统一标准的存储平台支持所有数据类型、各式
简约、可扩展的管理模式 新数据形态成为标准实体 单一数据平台的应用，需要协调的数据存取
用户自定义数据 种类 关系型表
Filesystem Win32 Access Gain (%)
600
500
400 Throughput (Mbps) 300 200 100
Filestream Win32 (Filesystem) Access Filestream T-SQL
Varbinary
0
240 KB -100 -200 480 KB 1 MB 2 MB 4 MB 8 MB
Windows 文件系统 SQL Server 数据库
实体汇总
实体数据 访问
名单 BLOBs 文字
其他数据源
• • • •
支持BLOB的抽象编程接口 提供更多的‘服务’围绕非结构化数据，例如：搜索，分析 提供集成多种空间数据源的能力 提供结构化和非结构化数据的关联、集成
– 属性的提取/推广 – 灵活的架构 – 适用于非关系型数据的关系型操作
App Machine 应用服务机
用户请求
Database Machine 数据库服务机 服务
终端用户
例如：浏览器
应用
SQL Server
触发、 存储过程
存储接口
写Blob
写Blob 地址 Reference
应用端 接口
写Blob 取得Collection 信 息
清理
BLOB 存储
存储接口
返回地址Reference 写Blob
BLOB 存储
存储接口
7 读取BLOB
演 示
使用RBS实现对于FILESTREAM的负载均衡
孙巍 技术总监 北京中达金桥技术服务有限公司
远程BLOB存储技术与FILESTREM文件流技术的集成 由FILESTREM文件流存储节点组成的存储池可以迅速扩展（使用 经济实惠的PC服务器） RBS后端的FILESTREM文件流接口提供多线程、多通道的负载均 衡逻辑进行文档的读写 负载分配可以用户可以根据需要灵活调整 存储节点可转变为“只读”属性（存储历史数据，不接受新 档案） 可以迅速添加节点并重新设置负载均衡模式 智能备份／恢复功能可以避免历史性“只读”数据的重复备 份，显著降低备份需要的时间和空间 客户生产环境显示单线程文档写入可达到48M+/秒性能（限于 存储设备性能）
范例
专用的BLOB存储
BLOB存储数据库 Application 应用
BLOBs
集成的数据库+文件系统
Application 应用
BLOBs
Application 应用
BLOBs
DB
DB
DB
RBS - Remote Blob Storage
SQL BLOB
FILESTREAM BLOB Storage
900 800 700 Throughput (Mbps) 600 Filestream T-SQL Filestream Win32 (Filesystem) Access
500
400 300 200 100 0 240 KB 480 KB 1 MB 2 MB 4 MB 8 MB Varbinary
集成的数据库+文件系统
Application 应用
BLOBs
DB
非结构数据直接储存于文件系统(使用 NTFS文件系统) VARBINARY(MAX) 数据类型上注明存储 属性即可开启文件流存储功能 丰富的双重编程模式 T-SQL语句(数据库语法)编程 Win32文件系统I/O编程接口支持数 据库事务属性 BLOBs 大小上限= 文件系统大小 与SQL Server集成数据库管理，例如： 备份、恢复... 与SQL Server数据库安全管理集成
SQL DB
客户应用程序
SQL RBS API SQL FS lib IBM lib Centera lib Net App lib
供应商接口
SQL Server IBM Centera NetApp
RBS 服务 • 创建 • 读取 • 垃圾收集 • 删除
客户应用程序可以支持多种不同的Blob存储机制或设备 供应商将提供相应的接口类库
App Machine 应用服务机
Database Machine 数据库服务机
2 请求BLOB 标识 ３ 应用读取 BLOB标识
终端用户
1 用户请求 10 用户读取 BLOB
例如：浏览器
应用
SQL Server
触发、 存储过程
9 应用读取BLOB
4 请求BLOB (标识)
应用端 接口
8 读取BLOB 5 请求BLOB (标识) 6 请求BLOB(标识)
降低BLOB存储成本 降低数据库工作负载，提高系统扩展性 标准应用端借口可使用不同存储 使用经济的普通服务器完成复杂的存储和工 作流要求
文件系统
SQL BLOBs
RBS技术
FILESTREAM 文件流
文档流性能
Depends on external store
Depends on external store
SharePoint 企业 查询门户
其他 数据源 数据源1来自应用特定 查询FAST
SQL Server
数据源2
数据源3
通过实体架构实现对实体的直接搜索查询 针对多数据源的联合并发搜索查询 与 Microsoft Office SharePoint Server 和 FAST 的集成
点将流量数 据，例如; Web 日志 金融数据， 例如：股票 交易记录
Filestream
Select file from documents where docId=1
Varbinary(max)
Select file from documents where docId=1
[DllImport("sqlncli10.dll", SetLastError = true, CharSet = CharSet.Unicode)] static extern SafeFileHandle OpenSqlFilestream( string FilestreamPath, UInt32 DesiredAccess, UInt32 OpenOptions, byte[] FilestreamTransactionContext, UInt32 FilestreamTransactionContextLength, Int64 AllocationSize);
SqlTransaction transaction = sqlConnection.BeginTransactio("mainTranaction"); sqlCommand.Transaction = transactio; mandText ="SELECT GET_FILESTREAM_TRANSACTION_CONTEXT()"; Object obj = sqlCommand.ExecuteScalar(); byte[] txContext = (byte[])obj; SafeFileHandle handle = OpenSqlFilestream(filePath,DESIRED_ACCESS_READWRITE, SQL_FILESTREAM_OPEN_NO_FLAGS,txContext,(UInt32)txContext.L ength,0); byte []buffer = new byte[512]; FileStream fileStream = new FileStream(handle,FileAccess.ReadWrite,buffer.Length, false);