基于Thrift的跨编程语言的服务间通信
基于Thrift的跨编程语言的服务间通信
1背景
Thrift是一种可伸缩的跨语言服务框架，最初由Facebook于2007年开发，2008年进入Apache开源项目。Thrift通过一个中间语言(IDL, 接口定义语言)来定义RPC的接口和数据类型，然后通过一个编译器生成不同语言的代码（目前支持C++,Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, Smalltalk和OCaml）,并由生成的代码负责RPC协议层和传输层的实现。
2架构
Thrift实际上是实现了C/S模式，通过代码生成工具将接口定义文件生成服务器端和客户端代码（可以为不同语言），从而实现服务端和客户端跨语言的支持。用户在Thirft描述文件中声明自己的服务，这些服务经过编译后会生成相应语言的代码文件，然后用户实现服务（客户端调用服务，服务器端提服务）便可以了。其中protocol（协议层, 定义数据传输格式，可以为二进制或者XML等）和transport（传输层，定义数据传输方式，可以为TCP/IP 传输，内存共享或者文件共享等）被用作运行时库。
3支持的数据传输格式、数据传输方式和服务模型
3.1 支持的传输格式
TBinaryProtocol –二进制格式.
TCompactProtocol –压缩格式
TJSONProtocol –JSON格式
TSimpleJSONProtocol –提供JSON只写协议, 生成的文件很容易通过脚本语言解析。
TDebugProtocol –使用易懂的可读的文本格式，以便于debug
3.2 支持的数据传输方式
TSocket -阻塞式socker
TFramedTransport –以frame为单位进行传输，非阻塞式服务中使用。
TFileTransport –以文件形式进行传输。
TMemoryTransport –将内存用于I/O. java实现时内部实际使用了简单的ByteArrayOutputStream。
TZlibTransport –使用zlib进行压缩，与其他传输方式联合使用。当前无java实现。
3.3 支持的服务模型
TSimpleServer –简单的单线程服务模型，常用于测试
TThreadPoolServer –多线程服务模型，使用标准的阻塞式IO。
TNonblockingServer –多线程服务模型，使用非阻塞式IO（需使用TFramedTransport 数据传输方式）
3.4 语法参考
3.4.1类型
Thrift类型系统包括预定义基本类型，用户自定义结构体，容器类型，异常和服务定义。
3.4.1.1 基本类型
bool：布尔类型(true or value)，占一个字节
byte：有符号字节
i16:16位有符号整型
i32:32位有符号整型
i64:64位有符号整型
double：64位浮点数
string：未知编码或者二进制的字符串
注意，thrift不支持无符号整型，因为很多目标语言不存在无符号整型（如java）。3.4.1.2 容器类型
Thrift容器与类型密切相关，它与当前流行编程语言提供的容器类型相对应，采用java 泛型风格表示的。Thrift提供了3种容器类型：
list
set
map
容器中的元素类型可以是除了service意外的任何合法thrift类型（包括结构体和异常）。
3.4.1.3 结构体和异常
Thrift结构体在概念上同C语言结构体类型—-一种将相关属性聚集（封装）在一起的方式。在面向对象语言中，thrift结构体被转换成类。
异常在语法和功能上类似于结构体，只不过异常使用关键字exception而不是struct关键字声明。但它在语义上不同于结构体—当定义一个RPC服务时，开发者可能需要声明一个远程方法抛出一个异常。
3.4.1.4 服务
服务的定义方法在语法上等同于面向对象语言中定义接口。Thrift编译器会产生实现这些接口的client和server桩。
3.4.1.5 类型定义
Thrift支持C/C++风格的typedef:
typedef i32 MyInteger \\a
typedef Tweet ReTweet \\b
说明：
a.末尾没有逗号
b. struct可以使用typedef
3.4.1.6 枚举类型
可以像C/C++那样定义枚举类型，如：
enum TweetType {
TWEET, //a
RETWEET = 2, //b
DM = 0xa, //c
REPLY
} //d
struct Tweet {
1: required i32 userId;
2: required string userName;
3: required string text;
4: optional Location loc;
5: optional TweetType tweetType = TweetType.TWEET // e
16: optional string language = "english"
}
说明：
1)编译器默认从0开始赋值
2)可以赋予某个常量某个整数
3)允许常量是十六进制整数
4)末尾没有逗号
e.给常量赋缺省值时，使用常量的全称
注意，不同于protocol buffer，thrift不支持枚举类嵌套，枚举常量必须是32位的正整数
3.4.2注释
Thrfit支持shell注释风格，C/C++语言中单行或者多行注释风格
# This is a valid comment.
/*
* This is a multi-line comment.
* Just like in C.
*/
// C++/Java style single-line comments work just as well.
3.4.3命名空间
Thrift中的命名空间同C++中的namespace和java中的package类似，它们均提供了一种组织（隔离）代码的方式。因为每种语言均有自己的命名空间定义方式（如python中有module），thrift允许开发者针对特定语言定义namespace：
namespace cpp com.example.project // a
namespace java com.example.project // b
说明：
a.转化成namespace com { namespace example { namespace project {
b.转换成package com.example.project
3.4.4文件包含
Thrift允许thrift文件包含，用户需要使用thrift文件名作为前缀访问被包含的对象，如：include "arim.tacloud.thrift" // a
...
struct TweetSearchResult {
1: list< arim.tacloud.TagLite> tags; // b
}
更方便的是采用typedef:
typedef arim.tagcloud. TagLite TagLite
struct TweetSearchResult {
1: list
}
说明：
1)thrift文件名要用双引号包含，末尾没有逗号或者分号
2)是文件名做为前缀，而不是命名空间做为前缀
3)typedef的类型定义只在其所在文件有效，因此，在文件包含时，如有需要，需再
次类型定义。
3.4.5常量
Thrift允许用户定义常量，复杂的类型和结构体可使用JSON形式表示。
const i32 INT_CONST = 1234; // a
const map
a.分号是可选的，可有可无；支持十六进制赋值。
3.4.6定义结构体
结构体由一系列域组成，每个域有唯一整数标识符，类型，名字和可选的缺省参数组成。
如：
struct Tweet {
1: required i32 userId; // a
2: required string userName; // b
3: required string text;
4: optional Location loc; // c
16: optional string language = "english" // d
}
struct Location { // e
1: required double latitude;
2: required double longitude;
}
说明：
1)每个域有一个唯一的，正整数标识符
2)每个域可以标识为required或者optional（也可以不注明）
3)结构体可以包含其他结构体
4)域可以有缺省值
5)一个thrift中可定义多个结构体，并存在引用关系
规范的struct定义中的每个域均会使用required或者optional关键字进行标识。如果required标识的域没有赋值，thrift将给予提示。如果optional标识的域没有赋值，该域将不会被序列化传输。如果某个optional标识域有缺省值而用户没有重新赋值，则该域的值一直为缺省值。
与service不同，结构体不支持继承，即，一个结构体不能继承另一个结构体。
3.4.7定义服务
在流行的序列化/反序列化框架（如protocol buffer）中，thrift是少有的提供多语言间RPC服务的框架。
Thrift编译器会根据选择的目标语言为server产生服务接口代码，为client产生桩代码。
//“Twitter”与“{”之间需要有空格！！！
service Twitter {
// 方法定义方式类似于C语言中的方式，它有一个返回值，一系列参数和可选的异常
// 列表. 注意，参数列表和异常列表定义方式与结构体中域定义方式一致.
void ping(), // a
bool postTweet(1:Tweet tweet); // b
TweetSearchResult searchTweets(1:string query); // c
// ”oneway”标识符表示client发出请求后不必等待回复（非阻塞）直接进行下面的操作，// ”oneway”方法的返回值必须是void
oneway void zip() // d
}
说明：
1)函数定义可以使用逗号或者分号标识结束
2)参数可以是基本类型或者结构体，参数是只读的（const），不可以作为返回值！！！
3)返回值可以是基本类型或者结构体
4)返回值可以是void
5)接口函数不支持重载
注意，函数中参数列表的定义方式与struct完全一样
Service支持继承，一个service可使用extends关键字继承另一个service
3.5 网络栈
3.5.1Transport
Transport层提供了一个简单的网络读写抽象层。这使得thrift底层的transport从系统其它部分（如：序列化/反序列化）解耦。以下是一些Transport接口提供的方法：open
close
read
write
flush
除了以上几个接口，Thrift使用ServerTransport接口接受或者创建原始transport对象。正如名字暗示的那样，ServerTransport用在server端，为到来的连接创建Transport对象。
open
listen
accept
close
3.5.2Protocol
Protocol抽象层定义了一种将内存中数据结构映射成可传输格式的机制。换句话说，Protocol定义了datatype怎样使用底层的Transport对自己进行编解码。因此，Protocol的实现要给出编码机制并负责对数据进行序列化。
Protocol接口的定义如下：
writeMessageBegin(name, type, seq)
writeMessageEnd()
writeStructBegin(name)
writeStructEnd()
writeFieldBegin(name, type, id)
writeFieldEnd()
writeFieldStop()
writeMapBegin(ktype, vtype, size)
writeMapEnd()
writeListBegin(etype, size)
writeListEnd()
writeSetBegin(etype, size)
writeSetEnd()
writeBool(bool)
writeByte(byte)
writeI16(i16)
writeI32(i32)
writeI64(i64)
writeDouble(double)
writeString(string)
name, type, seq = readMessageBegin()
readMessageEnd()
name = readStructBegin()
readStructEnd()
name, type, id = readFieldBegin()
readFieldEnd()
k, v, size = readMapBegin()
readMapEnd()
etype, size = readListBegin()
readListEnd()
etype, size = readSetBegin()
readSetEnd()
bool = readBool()
byte = readByte()
i16 = readI16()
i32 = readI32()
i64 = readI64()
double = readDouble()
string = readString()
下面是一些对大部分thrift支持的语言均可用的protocol：
(1) binary：简单的二进制编码
(2) Compact：具体见THRIFT-11
(3) Json
3.5.3Processor
Processor封装了从输入数据流中读数据和向数据数据流中写数据的操作。读写数据流用Protocol对象表示。Processor的结构体非常简单:
interface TProcessor {
bool process(TProtocol in, TProtocol out) throws TException
}
与服务相关的processor实现由编译器产生。Processor主要工作流程如下：从连接中读取数据（使用输入protocol），将处理授权给handler（由用户实现），最后将结果写到连接上（使用输出protocol）。
3.5.4Server
Server将以上所有特性集成在一起：
（1）创建一个transport对象
（2）为transport对象创建输入输出protocol
（3）基于输入输出protocol创建processor
（4）等待连接请求并将之交给processor处理
4实践
https://www.360docs.net/doc/5f1025253.html,/download/
下载thrift源文件；
下载windows版本的编译工具thrift-version.exe，并将其拷贝到%system%/windows/，重命名为thrift.exe.
4.1 脚本文件
根据thrift规范，创建脚本文件arim.tagcloud.thrift ，脚本文件内容如下：
namespace csharp Arim.TagCloud
namespace java arim.tagcloud
typedef i64 DateTime
typedef i64 Integer
struct Tag{
1: Integer id;
2: string name;
3: string descr;
}
typedef i64 DateTime
typedef i64 Integer
service ThriftTagValueReader{
bool ping();
double readTag(1:Integer tagId, 2:DateTime time);
map
timeStart, 3:DateTime timeEnd);
map
map
}
service ThriftTagConfigReader{
Integer getId(1:string tagname, 2:i32 inter);
list
map
Tag getTag(1:Integer id);
map
}
注意
thrift文件应该是unix格式的。如果是在window下编写的，且文件中，例如注释中，包含有中文字符，将导致代码自动生成出现错误。此种情况下，可使用dos2unix转化为unix 格式，或者是选用英文注释。
4.2 Java项目
Java项目的编译依赖于ant。
4.2.1Ant
Ant,由Apache软件基金会所提供，是一个将软件编译、测试、部署等步骤联系在一起加以自动化的工具，大多用于Java环境中的软件开发。
下载
https://www.360docs.net/doc/5f1025253.html,/dist/ant/binaries/
配置
将ant解压至硬盘上，比如D:\ant
设置环境变量
Ant_HOME = D:\ant；
将%Ant_HOME%\bin加入到系统环境变量Path中。
4.2.2Java编译
用ant编译源代码，进入G:\thrift\thrift-0.8.0\lib\java目录，执行ant。
4.2.3生成java代码
代码生成
打开cmd，进入arim.tagcloud.thrift目录，执行thrift –gen java arim.tagcloud.thrift.，将创建gen-java目录，在这个目录中可以看见生成的java代码。
4.2.4创建工程
建立Java Project “TagReader”
工程配置
右键工程，“new”——“”folder”建立lib文件夹，将thrift编译生成的jar包及其依赖包复制到lib文件夹中。
然后，右键工程，“Properties”——“Java Build Path”——“Libraries”——“Add External JARs…”，打开具体的文件夹，添加具体的引用库。
将thrift生产的”.java”文件加入到项目中，路径为“.\src\arim\tagcloud”（需与命名空间一致）。
代码编写
（1）接口实现
在TagCloud中，Java端将作为server，为此，需进行接口实现：继承接口类，实现具体的功能函数。
注意：功能函数的返回对象中不能有null引用，否则会出现
https://www.360docs.net/doc/5f1025253.html,ng.NullPointerException。
（2）服务端实现
public class Server {
private void start() {
try {
TServerSocket serverTransport = new TServerSocket(7911); //指定通信端口
ThriftTagValueReader.Processor processor = new ThriftTagValueReader.Processor( new TagValueReader() );
Factory protFactory = new TBinaryProtocol.Factory();//指明了具体的通信协议
TThreadPoolServer.Args arg = new
TThreadPoolServer.Args(serverTransport);
arg.protocolFactory(protFactory);
arg.processor(processor);
TServer server = new TThreadPoolServer(arg);
System.out.println("Starting server on port 7911 ...");
server.serve();
} catch (TTransportException e) {
e.printStackTrace();
} catch (Exception e) {
e.printStackTrace();
}
}
/**
* @param args
*/
public static void main(String[] args) {
Server reader = new Server();
reader.start();
}
}
（3）客户端实现
public class Client {
public static void main(String[] args) {
try{
TTransport transport = new TSocket("localhost", 7911); //指定服务端地址和通信端口
TProtocol protocol = new TBinaryProtocol (transport); //需与服务端的通信协议一致
ThriftTagValueReader.Client client = new
ThriftTagValueReader.Client(protocol);
transport.open();
System.out.println("client calls...");
long id;
id = 0;
double value;
long time = 0;
Date myTime = new Date();
time = DateLite.toLong(myTime);
System.out.println(myTime.toString());
value = client.readTag(id, time);
System.out.println(id +" "+"value = "+ value);
} catch(TException ex){
ex.printStackTrace();
}
}
}
（4）项目运行
服务端
客户端
4.3 csharp项目
4.3.1csharp编译
打开路径G:\thrift\thrift-0.8.0\lib\csharp\src，如果解决方案“Thrift.sln”不能正确打开，则选择合适的vs打开工程“Thrift.csproj”，在工程编译时会自动地提示保存解决方案。
对解决方案进行编译。将在路径G:\thrift\thrift-0.8.0\lib\csharp\src\bin\Debug下生成thrift.dll文件。
4.3.2生产csharp代码
打开cmd，进入arim.tagcloud.thrift目录，执行thrift –gen csharp arim.tagcloud.thrift.，将创建gen-csharp目录，在这个目录中可以看见生成的csharp代码。
4.3.3创建工程
新建工程https://www.360docs.net/doc/5f1025253.html,mon，添加引用thrift.dll。
添加自动生产的”.cs”源文件；
（1）客户端
namespace Arim.TagCloud.Reader
{
public class TagValueReader
{
Arim.TagCloud.ThriftTagValueReader.Client reader;
TTransport transport;
//打开连接
public bool Open(string ip, int port)
{
transport = new TSocket(ip, port); //指定服务端地址和通信端口
TProtocol protocol = new TBinaryProtocol(transport); //需与服务端的通信协议一致
this.reader = new ThriftTagValueReader.Client(protocol);
this.transport.Open();
return this.transport.IsOpen;
}
//关闭连接
public bool Close()
{
this.transport.Close();
return true;
}
……
（2）项目运行