微云API-我的文件下载地址

微云API-我的文件下载地址
微云API-我的文件下载地址

1. 接口说明

获得文件下载的地址。

文件下载的过程分成两个步骤:

1) 获取文件下载的地址。

2) 通过获取到的文件下载地址,拼装最终URL,用GET方式下载。

1.1 URL

OAuth2.0协议:https://https://www.360docs.net/doc/f71736665.html,/weiyun/download_file

OAuth1.0协议:https://www.360docs.net/doc/f71736665.html,/weiyun/download_file

1.2 格式

JSON

1.3 HTTP请求方式

GET

1.4 输入参数说明

各个参数请进行URL 编码,编码时请遵守RFC 1738

a) 通用参数

OAuth2.0协议必须传入的通用参数,详见这里

OAuth1.0协议必须传入的通用参数,详见这里

b) 私有参数

appid: 第三方接入ID

file_id: 待下载的文件ID(68字节长度的字符串)

1.5 请求示例

以OAuth2.0协议为例(敏感信息都用*号进行了处理,实际请求中需要替换成真实的值):

https://https://www.360docs.net/doc/f71736665.html,/weiyun/get_file?

access_token=*************&

oauth_consumer_key=12345&

openid=****************

1.6 返回参数说明

ret: 操作结果,参见“返回错误码具体含义”

dl_encrypt_url: 加密的URL

dl_cookie_name: 存储平台返回的cookie name

dl_cookie_value: 存储平台返回的cookie value

dl_svr_port: 下载服务器端口

dl_svr_host: 下载服务器地址或者域名

1.7 返回码说明

0: 正确返回

1013: 存储平台系统繁忙

1014: 业务内部错误

1015: 在存储平台创建用户失败

1016: 存储平台不存在该用户

1019: 目录不存在

1020: 文件不存在

1021: 目录已经存在

1022: 文件已经存在

1023: 上传文件时,索引创建成功,上传地址获取失败,客户端需要发起续传1025: 访问bitmap失败

1026: 父目录不存在

1028: 目录或者文件数超过总限制1029: 单个文件大小超限

1051: 当前目录下已经存在同名文件1052: 下载未完成的文件

1053: 用户剩余空间不足

1071: oidb 数据库访问失败1072: oidb 数据头部校验失败1076: 非法文件,文件在黑名单中20008: 接入服务内部错误20014: 该APPID不存在

100001: 输入参数无效

100002: 输入命令无效

100005: 文件ID无效

100009: 内部通讯错误

100013: 初始化ptlogin失败100014: ptlogin验证失败100017: appid无效

100018: 上传类型无效

100019: 父目录无效

1.8 正确返回示例

JSON示例:

1.9 错误返回示例

2.0 文件的下载过程说明

通过CGI从存储平台获取下载加密URL和COOKIE,然后拼装最终URL:http://:< dl_svr_port >/ftn_handler/dl_encrypt_url

dl_encrypt_url:加密的URL

dl_cookie_name: 存储平台返回的cookie name

dl_cookie_value: 存储平台返回的cookie value

dl_svr_port: 下载服务器端口

dl_svr_host: 下载服务器地址或者域名,表示形式为文本

COOKIE中附加上:dl_cookie_name=dl_cookie_value

以HTTP GET方式进行下载,HTTP header具体如下:

GET /ftn_handler/dl_encrypt_url/ HTTP/1.1

Accept: */*

Accept-Language: zh-CN

User-Agent: Mozilla/4.0

Accept-Encoding: gzip, deflate

Host: dl_svr_host

Connection: Keep-Alive

Cookie: dl_cookie_name=dl_cookie_value

Pragma: no-cache

RANGE:bytes=startPos-endPos

注:其中RANGE:bytes=startPos-endPos\r\n,startPos指开始下载的位置,endPos指下载的末尾,中间的“-”不是减号,而是至的意思,请务必注意。如果下载整个文件,则为RANGE:bytes=0-\r\n或者没有RANGE域。

关于腾讯 | 服务条款 | 客服中心 | 粤B2-20090059-86

分布式文件存储方案

1DFS系统 (DFS) 是AFS的一个版本,作为开放软件基金会(OSF)的分布 分布式文件系统 式计算环境(DCE)中的文件系统部分。 如果文件的访问仅限于一个用户,那么分布式文件系统就很容易实现。可惜的是,在许多网络环境中这种限制是不现实的,必须采取并发控制来实现文件的多用户访问,表现为如下几个形式: 只读共享任何客户机只能访问文件,而不能修改它,这实现起来很简单。 受控写操作采用这种方法,可有多个用户打开一个文件,但只有一个用户进行写修改。而该用户所作的修改并不一定出现在其它已打开此文件的用户的屏幕上。 并发写操作这种方法允许多个用户同时读写一个文件。但这需要操作系统作大量的监控工作以防止文件重写,并保证用户能够看到最新信息。这种方法即使实现得很好,许多环境中的处理要求和网络通信量也可能使它变得不可接受。 NFS和AFS的区别 NFS和AFS的区别在于对并发写操作的处理方法上。当一个客户机向服务器请求一个文件(或数据库记录),文件被放在客户工作站的高速缓存中,若另一个用户也请求同一文件,则它也会被放入那个客户工作站的高速缓存中。当两个客户都对文件进行修改时,从技术上而言就存在着该文件的三个版本(每个客户机一个,再加上服务器上的一个)。有两种方法可以在这些版本之间保持同步: 无状态系统在这个系统中,服务器并不保存其客户机正在缓存的文件的信息。因此,客户机必须协同服务器定期检查是否有其他客户改变了自己正在缓存的文件。这种方法在大的环境中会产生额外的LAN通信开销,但对小型LAN来说,这是一种令人满意的方法。NFS 就是个无状态系统。 回呼(Callback)系统在这种方法中,服务器记录它的那些客户机的所作所为,并保留它们正在缓存的文件信息。服务器在一个客户机改变了一个文件时使用一种叫回叫应答(callbackpromise)的技术通知其它客户机。这种方法减少了大量网络通信。AFS(及OSFDCE的DFS)就是回叫系统。客户机改变文件时,持有这些文件拷贝的其它客户机就被回叫并通知这些改变。 无状态操作在运行性能上有其长处,但AFS通过保证不会被回叫应答充斥也达到了这一点。方法是在一定时间后取消回叫。客户机检查回叫应答中的时间期限以保证回叫应答是当前有效的。回叫应答的另一个有趣的特征是向用户保证了文件的当前有效性。换句话说,若

免费分布式存储系统

基于Hadoop构建对象存储系统 By云深作者:Terry/Alen/Adam/SeymourZ 转载请注明出处前言 ●云计算领域目前有两大代表性系统:Google和Amazon,它们各自的存储系 统为Google GFS和Amazon S3,都提供高可靠性、高性能、高可扩展性的存储能力 ●Hadoop HDFS就是Google GFS存储系统的开源实现,主要应用场景是作为 并行计算环境(MapReduce)的基础组件,同时也是Bigtable(如HBase、HyperTable)的底层分布式文件系统。Hadoop HDFS也有自身的局限性,虽然作为分布式文件系统称谓,但它并不适合所有的应用场合。如:单点 namespace问题,小文件问题等,早有阐述。 https://www.360docs.net/doc/f71736665.html,/blog/2009/02/ ●Amazon S3作为一个对象存储系统运营,为客户提供1到5G任意大小的对 象(文件)存储,从有限的资料来看,S3没有采用GFS的类似的体系架构,也不对外提供完整的文件系统呈现,更多的是一种对象存储访问的形式。 ●既然Hadoop HDFS适合处理和存储大块的文件,我们是否也可以把HDFS 作为一种容器看待,通过上层抽象,对外提供类似Amazon S3一样的对象存储功能呢?答案我想是肯定的,下面就讨论基于Hadoop开源项目,构建一个高可靠,高性能、高扩展性的对象存储系统,实现类似Amazon S3的用户接口。 系统架构

图-1 系统架构 系统组成: 对象访问接口层(Access Edge) ?提供客户端Lib,供上层应用调用; ?提供REST和SOAP接口,支持web业务的访问。 对象元数据存储层(MetaData Storage) ?实现对象操作业务逻辑,包括: 1.Bucket创建; 2.Bucket删除; 3.Bucket信息查询; 4.对象创建; 5.对象元数据信息查询;

三种存储类型

块存储和文件存储是我们比较熟悉的两种主流的存储类型,而对象存储(Object-based Storage)是一种新的网络存储架构,基于对象存储技术的设备就是对象存储设备(Object-based Storage Device)简称OSD。 首先,我们介绍这两种传统的存储类型。通常来讲,所有磁盘阵列都是基于Block块的模式,而所有的NAS产品都是文件级存储。 1、块存储 以下列出的两种存储方式都是块存储类型: 1)DAS(Direct Attach ST orage):是直接连接于主机服务器的一种储存方式,每一台主机服务器有独立的储存设备,每台主机服务器的储存设备无法互通,需要跨主机存取资料时,必须经过相对复杂的设定,若主机服务器分属不同的操作系统,要存取彼此的资料,更是复杂,有些系统甚至不能存取。通常用在单一网络环境下且数据交换量不大,性能要求不高的环境下,可以说是一种应用较为早的技术实现。 2)SAN(Storage Area Network):是一种用高速(光纤)网络联接专业主机服务器的一种储存方式,此系统会位于主机群的后端,它使用高速I/O 联结方式,如SCSI, ESC ON 及Fibre- Channels。一般而言,SAN应用在对网络速度要求高、对数据的可靠性和安全性要求高、对数据共享的性能要求高的应用环境中,特点是代价高,性能好。例如电信、银行的大数据量关键应用。它采用SCSI 块I/O的命令集,通过在磁盘或FC(Fiber Channel)级的数据访问提供高性能的随机I/O和数据吞吐率,它具有高带宽、低延迟的优势,在高性能计算中占有一席之地,但是由于SAN系统的价格较高,且可扩展性较差,已不能满足成千上万个CPU规模的系统。 2、文件存储 通常,NAS产品都是文件级存储。NAS(Network Attached Storage):是一套网络储存设备,通常是直接连在网络上并提供资料存取服务,一套NAS 储存设备就如同一个提供数据文件服务的系统,特点是性价比高。例如教育、政府、企业等数据存储应用。 它采用NFS或CIFS命令集访问数据,以文件为传输协议,通过TCP/IP实现网络化存储,可扩展性好、价格便宜、用户易管理,如目前在集群计算中应用较多的NFS文件系统,但由于NAS的协议开销高、带宽低、延迟大,不利于在高性能集群中应用。 下面,我们对DAS、NAS、SAN三种技术进行比较和分析: 表格1 三种技术的比较

文件存储服务器方案

文件存储服务器方案 系统介绍 文件存储服务器是华视恒通硬盘自动播出系统的配套产品之一,本系统采用基于网络的工作方式,根据用户设定的时间范围,系统自动检测未播出表单中所需要传输的节目,定时启动传输,同时系统提供简单直接的管理界面及实时的状态分析,为用户节约了存储和管理成本,具有更高的稳定性和性价比。 二级存储服务器共包括三个模块:二级中心、文件检测和控制台。 系统设置 1.网络连接 网络是二级存储服务器的传输通道,网络通讯的性能直接影响存储服务器的性能,因此首先要确保局域网连接正常。 2.系统配置 首先要在系统管理中配置文件存储服务器信息。具体操作: ⑴打开系统管理模块,进入服务器设置界面,在素材存储设置中选择文件服务器,即 选中文件存储服务器单选框。 ⑵若第一次使用文件服务器,需要配置,点击配置按钮,弹出设置文件服务器窗口, 如图1: 图1

名称:设置文件存储服务器的名称,可自行设定。 IP:设置文件存储服务器的IP。 资源路径:设置文件存储服务器上存放素材的路径,注意:此路径需与主、备播出服务器上的节目库以及ServU中设置路径保持一致。 用户名和密码:用户名和密码均设置为cast。 ⑶设置完成后确定,即将对应IP的机器设为文件存储服务器,上载资源时,选择文件存储服务器复选框,节目素材均会上载到此服务器的指定路径下。 3.模块安装 二级中心:此模块安装在文件存储服务器上,在运行安装包时,选择‘二级中心’ 一项,然后根据向导安装即可。 文件检测:此模块安装在播出服务器和文件存储服务器上,若为主、备播出系统, 则主、备播出服务器上均要安装。运行安装程序包,选择‘文件检测’, 然后根据向导安装即可。 控制台:此模块可安装在网络中的任何一台计算机上,运行安装程序包,选择‘控 制台’,然后根据向导安装即可。 功能介绍 1.二级中心 二级中心负责实时检测未播出表单中是否有需要传送节目,根据用户设定的时间范围,即时更新传输列表,并且自动启动传输任务,从而使文件存储服务器中的节目自动迁移到主备播出服务器上,以便播出使用。初次启动二级中心时,在登录窗口中需要指定登录的数据库IP以及用户名和密码,否则登录不成功,若曾经配置过登录信息,则程序自动按照配置自行登录,无需再次设置。 节目迁移过程中,若文件服务器发生故障,二级中心重启后自动判断上次中断的传输任务,如图2:

分布式文件存储系统研究及应用

分布式存储系统研究和应用实践 二〇一二年二月

摘要 物质、能量和信息是自然科学研究的三个基本对象,处理、传输和存储是信息计算的三大基本任务。随着网络技术及信息处理技术的不断发展,个人数据和企业数据的产生量呈现爆炸性膨胀的趋势,IT系统正面临着海量数据存储成本高、管理困难、可靠性低的问题,为了充分利用资源,减少重复的投资,数据存储作为IT系统的主要架构和基础设施之一,逐步被作为一个完整的系统从IT系统中独立出来,分布式存储系统因为具有海量数据存储、高扩展性、高性能、高可靠性、高可用性的特点,目前正被作为企业海量数据存储方案被业界所广泛讨论和应用。因此对于分布式存储系统的研究不仅紧跟目前发展的趋势,而且具有较高的应用价值。 本文基于对分布式存储系统的研究,旨在通过在网络环境下构建具有高传输性能、高可靠性、高可用性的网络分布式文件系统,通过网络数据流方式实现对海量文件系统中的数据进行存储和访问,解决大规模非结构化数据的存储、查询、高性能读取、高容错性的问题,为IT系统提供高性能、高可靠性、高可用性的存储应用服务,并为今后的分布式计算研究提供技术基础。 本文阐述的主要内容如下: (1)分布式架构的相关理论以及分布式存储系统的应用现状,介绍了分布式 存储系统概念; (2)然后引入开源项目Hadoop的HDFS分布式文件系统,接着对HDFS关键 运行机制进行了详细分析; (3)并在此基础上,通过搭建基于HDFS 0.23版本的实验环境进行实际的测试 验证,采集实验数据,并对实验结果作出进一步的分析总结,得到理论 和实际结合的第一手资料; (4)最后,通过结合实际需求,在对医学影像中心业务分析的基础上,对医 学影像中心存储体系、功能结构及运行环境进行了设计和规划。 关键词:分布式存储系统、HDFS、Hadoop

集群式文件存储系统介绍

集群式文件存储系统

1. 前言 (3) 2. 对存储系统及其技术的反思 (4) 2.1. 存储系统面临的挑战 (4) 2.2. 存储系统的需求 (5) 2.3. 应对之道 (6) 3. 逸存集群存储系统(YEESTOR)介绍 (9) 3.1. YEESTOR简介 (9) 3.2. YEESTOR的功能特点 (9) 3.3. 采用YEESTOR集群存储的好处 (10) 3.4. YEESTOR系统的构成 (11) 4. YEESTOR系统架构 (12) 4.1. YEESTOR系统架构 (12) 4.2. 访问原理 (13) 4.3. 各子系统详细介绍 (14) 5. YEESTOR系统的优势分析 (15) 5.1. 高稳定性 (16) 5.2. 高性能 (16) 5.3. 高扩展性 (17) 5.4. 经济性 (17) 5.5. 负载均衡 (17) 5.6. 标准性 (18) 6. 使用模式 (18) 6.1. 新建系统 (18) 6.2. 整合原有存储系统 (19) 6.3. 混合系统 (20) 7. 系统规格 (21) 8. 适用领域 (21) 9. 成功案例 (22)

1.前言 近20来年,信息技术飞速发展,互联网迅速普及,信息技术应用环境发生了巨大变化: n?数据爆炸: IDG的研究报告预测从2010年开始全球新产生数据量达到 1.2 Z ettaBytes (1Z ettaBytes 大约等于1000亿GBs),地球正式进入ZB 时代,其中非结构化数据的增长速度是结构化数据的2倍。如此庞大的 数据规模是有计算机存在以来所未曾见到甚至未曾想像过的,人们需要 能应对海量数据产生的存储技术和存储设施。 n?以数据为中心的计算:基于大规模数据的挖掘和知识发现成为互联网、企业和政府长期发展和业务服务的战略核心资源,传统的“以计算为中 心”的信息系统模式正在迅速向“以数据为中心”的模式迅速转变。“数 据中心化”带来的是大量的数据共享访问以及由此产生的数据读写效率 问题,同时如何保证数据安全有效,甚至在故障发生情况下尽量提高数 据可用性成为产业界和科技界关注的关键问题。 n?呼唤灵活的IT架构:市场竞争的加剧使得人们需要更加灵活、更快响应的IT系统支撑快速变化和多样化的业务,Web2.0相关技术的发展使 得数字化沟通日趋加强,创新的IT成为市场竞争的手段,因此呼唤能够 快速构建交付的灵活IT架构,以前通过数年建设一个庞大的IT系统的时 代不复存在。 n?云计算的兴起:全球一体化经济的发展造就了“服务经济”的兴起,如何在考虑能力、成本和环保等诸多因素的情况下构建面向未来的IT系统 结构是各类企业梦寐以求的目标。“像使用电力一样按需使用信息”是人 们在信息爆炸的年代形成的“伟大梦想”,“云计算”无疑是产业界和科 技界面对上述需求提出的“解决之道”,但在纷纭复杂的技术、产品和解 决方案中,如何形成企业自己的“迁移提升途径”,并落在实处?

大文件存储传输解决方案

随着公司的迅速扩张与壮大,公司存储的客户数据、宣传活动视频、图片和图像也在爆炸式的增加。为了进一步提高公司大数据存储与传输的能力,针对目前公司存在的现状问题,进行分析并提出解决公司现在的大文件存储传输慢的问题,特制作此文档。 一、公司目前文件存储与网络传输现状 (一)文件存储现状 目前公司所使用的文件存储与共享方式是通过普通服务器,搭建的WINDOW文件共享服务器,并没有专业的文件存储设备与存储软件,因此在文 件存储的性能、容量、空间的灵活分配和配置、安全性、权限控制等方面,都 很难满足未来业务的发展需要与大文件的存储需求,更无法实现企业数据信息 备份容灾。 (二)网络传输现状 目前公司的所有生产业务系统都是部署在专业的IDC机房的,各分支机构都是过光纤专线与IDC机房建立VPN隧道,型成一张较大的企业内部私网。随 着公司分支机构的不断增加(已开设16家),访问生产业务应用系统的流量也 在不断增长,而现有IDC机房带宽总出口(20M大小),已经达了网络承载的饱 荷状态,未来是无法满足公司业务日益快速发展的需要。 结合上述两个现状,可以得出,目前公司传输大型文件进行共享,慢的原因,即有IDC 网络核心带宽现阶段出口容量流量吃紧的问题,也由于没有专业的文件数据存储设备的原因。因此需要将两个问题,综合考虑统一规划建设处理才能符合公司未来信息发展的需要,同时也对公司的客户数据、产品研发资料、财务信息、宣传视频等,企业重要信息进行容灾备份。 二、解决公司大文件存储传输问题的方法 方案一 (一)建设一套专业的网络存储系统 公司是属于金融信息服务行业,客户及其投资相关的数据信息对公司来说是核心价值。公司任何客户信息数据的丢失,都会给公司带来严重的经济损失。 因此对公司所有核心价值的数据信息,谨慎、安全、可靠的存放及容灾备份是 十分有必要的,同时也是企业规避风险健康发展、进行全国战略发展和布局、 成为全国知名企业的要求。

相关主题
相关文档
最新文档