Envoy技术架构介绍
怎么搭建AI大模型应用平台架构
怎么搭建AI大模型应用平台架构-markdown格式文本搭建AI大模型应用平台架构涉及多个技术组件，主要包括模型的训练、推理、管理、数据处理以及用户界面和基础设施的支撑。
一个典型的AI大模型应用平台架构可以分为以下几个主要层次：### 1. **数据层**- **数据采集**：通过API、Web抓取工具、传感器等采集各种结构化、半结构化和非结构化数据。
- **数据存储**：使用大规模分布式存储系统（如Hadoop HDFS、Amazon S3、Azure Blob）来管理数据，特别是大规模的训练数据集。
- **数据处理与清洗**：利用ETL工具（如Apache Spark、Databricks）和机器学习前的数据预处理管道（如Pandas、Dask）进行数据清洗、转换和增强。
### 2. **模型层**- **模型开发**：支持不同框架（如TensorFlow、PyTorch、Hugging Face Transformers）的开发环境。
数据科学家在这一层开发、调试和训练模型。
- **模型训练**：需要强大的计算资源，通常通过分布式训练来加速大模型的训练过程，常用的工具包括NVIDIA DGX、TPUs、Amazon SageMaker 等。
- **模型优化**：为提高性能与可扩展性，模型可能需要剪枝、蒸馏或量化等技术处理。
### 3. **模型管理与部署层**- **模型管理**：提供模型的版本控制、可追溯性、性能监控等功能。
常用工具有MLflow、Kubeflow等。
- **模型推理服务**：- 在线推理：实时提供模型服务（如REST API、GraphQL API）处理用户请求。
- 批量推理：用于定期处理大批量数据，生成预测结果。
- **模型部署**：通过容器化（如Docker、Kubernetes）将模型部署到生产环境，支持大规模并发推理。
### 4. **推理加速层**- **推理加速器**：为了提高推理效率，特别是大模型，通常会使用GPU、TPU、FPGA等硬件加速器。
istio名词解释
可观察性
监控
Istio集成了丰富的监控功能，能够对服务网格中的流量、性能、 错误等指标进行实时监控，帮助运维人员快速发现问题。
日志与追踪
Istio支持自动化的日志收集和分布式追踪，能够详细地记录服务间 的调用链路和关键事件，提高了故障排查的效率。
可视化仪表板
Istio提供了直观的可视化仪表板，将监控数据以图形化的方式展现 出来，便于运维人员直观地了解系统的运行状态。
容器编排集成
01
Istio与容器编排系统（如Kubernetes）紧密集成，实现服务网
格与容器化环境的无缝对接。
容器间通信优化
02
通过Istio优化容器间的网络通信，提高整体性能和可靠性。
统一服务治理
03
在容器化环境中，Istio提供统一的服务治理界面，简化容器服
务的运维和管理。
Istio与Serverless计算的结合
流量管理：Istio可以智能地路由和负载均衡流量，确保请 求能够正确地到达目的地。
安全性：通过强大的身份认证、授权和加密功能，Istio能 够保护微服务之间的通信。
可观察性：Istio生成详细的指标、日志和追踪信息，帮助 开发人员和运维人员深入了解系统的行为。
扩展性：Istio提供了一个灵活的扩展模型，可以集成各种 定制的功能和插件。
& gRPC代理、熔断器、健康检查、流量拆分、动态配置更新等。
03
部署
在Istio中，Envoy以sidecar容器的形式与服务运行在同一个Pod中，对
应用透明，所有进出Pod的流量都会被自动重定向到Envoy代理。
Istiod控制平面
定义
Istiod是Istio的控制平面组件，负责管理和配置Envoy代 理，并提供了一系列的核心功能。
微逆变器情况资料
传统的转换器先从安装的所有或者大部分太阳能板吸收能量，然后利用转换器、电容以及开关将直流电转换成交流电。
由于所处理电压高，必须谨慎安装和维护。
Enphase公司生产的微转换器由半导体控制，体积小，可以在单独的板子上对能量进行处理。
微逆变器是传统逆变器的微型版，将太阳能面板产生的直流电转换成可现场使用或供并网发电的交流电。
微逆变器尤其适合用于小的光伏系统中，如1KW或以下。
传统的太阳能系统能利用中央逆变器，它安装于太阳能板旁的控制盒内，而不同的是，微逆变器将直接粘贴在每个面板上。
中央逆变器采用所谓的最大功率点跟踪(Maximum Power Point Tracking，MPPT)的原理来测定整个系统最优的功率输出。
因为太阳能面板典型地采用串联联接，一个低性能的面板将会影响到其他面板的输出。
如果部分面板被树或建筑物遮挡住，MPPT就会被降低。
较低的MPPT将会导致低的系统电力输出。
代替整个系统MPPT，微逆变器是在每个面板上进行MPPT，因此采用微逆变器能够确保一些低性能的面板将不会拉底其他面板的输出。
微逆变器的概念由来已久。
10年前SMA就考虑开发该产品，但是最后又决定不做了。
从那时起，其他的公司就不断改进硬件和软件，使得微逆变器更具吸引力。
微型逆变器有几大优点：1、尽量提高每一逆变电源模块的发电量,跟踪最大功率，由于对单块组件的最大功率点进行跟踪，可大大提高光伏系统的发电量，可提高25%。
2、通过调整每一排光电板的电压和电流，直至全部取得平衡，以免系统出现失配。
3、此外，每一模块都具备监控功能，降低系统的维护成本，操作更加稳定可靠。
4、配置灵活，在家用市场可以按照用户财力安装光伏电池大小5、无高压电、更安全，安装简单，更快捷，维护安装成本低廉，对安装服务商依赖性减少，使太阳能发电系统能由用户DIY.6、成本与集中式逆变器相比成本相当，甚至更低。
通过运算可以找到最合适的功率点，理想状态下每个电池板都有。
微服务网关选型
微服务⽹关选型⽹关的技术选型1. SpringCloud-Zuul :社区活跃,基于 SrpingCloud 完整⽣态, 是构建微服务体系前置⽹关服务的最佳选型.2. Kong : 基于OpenResty的 API ⽹关服务和⽹关服务管理层.3. Nginx+Lua：成熟度也算可以4. ⾃建⽹关：成本较⾼⽹关（API Gateway）的设计要素（⾼可⽤，安全）性能：API⾼可⽤，负载均衡，容错机制。
安全：权限⾝份认证、脱敏，流量清洗，后端签名（保证全链路可信调⽤）,⿊名单（⾮法调⽤的限制）。
⽇志：⽇志记录（spainid,traceid）⼀旦涉及分布式，全链路跟踪必不可少。
缓存：数据缓存。
监控：记录请求响应数据，api耗时分析，性能监控。
限流：流量控制，错峰流控，⽬前有漏桶算法、令牌桶算法也可以定制限流规则。
灰度：线上灰度部署，可以减⼩风险。
路由：动态路由规则。
静态：代理API ⽹关⼀些实现使⽤⼀个组件时，尤其是这种⽐较流⾏的架构，组件肯定存在开源的，我们不必⾃⼰去从零开始去实现⼀个⽹关，⾃⼰开发⼀个⽹关的⼯作量是相当可观的，现在⽐较流⾏的开源 API ⽹关如下所⽰：Kong：Kong是⼀个在 Nginx 中运⾏的Lua应⽤程序，并且可以通过lua-nginx模块实现，Kong不是⽤这个模块编译Nginx，⽽是与OpenResty ⼀起发布，OpenResty已经包含了 lua-nginx-module， OpenResty 不是 Nginx 的分⽀，⽽是⼀组扩展其功能的模块。
它的核⼼是实现数据库抽象，路由和插件管理，插件可以存在于单独的代码库中，并且可以在⼏⾏代码中注⼊到请求⽣命周期的任何位置。
Traefik：Traefik 是⼀个现代 HTTP 反向代理和负载均衡器，可以轻松部署微服务，Traeffik 可以与您现有的组件（Docker、Swarm，Kubernetes，Marathon，Consul，Etcd，…）集成，并⾃动动态配置。
Ti的发展历程
1.Ti的发展历程（1930-2010）-------------------------12.Ti的发展现状---------------------------------------313.实例--------------------------------------------1930年5月16日，TI 成立1955年，德州仪器(英国)公司成立1971年，TI 发明单芯片微型计算机1972年，德州仪器(TI) 马来西亚Sdn.Bhd.公司成立1973年，位于葡萄牙的TI Equipamento Electronico Lda. 成立1973 年4月30日，TI董事会批准将股份一股拆分为两股1974年，TI 比利时公司成立1974年，TI 建立了IDEA 计划以投资和测试新项目1975年，TI Kilby 荣获美国国家工程院的兹沃里金奖1976年，Shepherd 被任命为TI主席;Fred Bucy 被任命为TI总裁1977年，TI 建立欧洲市场营销分部1978年，TI建立亚太地区市场营销分部1979年，德州仪器(TI) 菲律宾公司成立1980年，TI 创始人Pat Haggerty 去世1980年，TI 庆祝50 周年纪念1981年，TI任命公司质量总监：开始全面质量运动1982年，TI 推出全球首个单芯片商用数字信号处理器1982年，Jack Kilby 被列入美国发明家名人堂中1985年，Jerry Junkins 被任命为TI总裁兼首席执行官1985年，TI 印度(私有)有限公司成立1986年，Jack Kilby 荣获IEEE 荣誉奖章1987年5月15日，TI董事会批准将股份一股拆分为三股1987年，TI 收购Rexnord Automation 的控制和工业系统单元1988年，TI 股票在伦敦和瑞士上市交易1988年，Junkins 被任命为TI主席、总裁兼CEO1988年，德州仪器(TI) 韩国公司成立1988年，TI资产剥离GSI 中60% 的股权1989年，TI 股票在东京证券交易所上市1989年，TI防御系统与电子集团争取马尔科姆·鲍德里奇奖1989年，TI在台湾与宏基(Acer) 组成合资企业生产半导体1989年，TI建立信息技术小组，强调软件战略1990年，TI 首次获得台湾质量奖1990年，TI在日本与Kobe Steel 组成合资企业生产半导体1990年，TI在意大利阿维萨诺开办先进的晶圆厂1990年，Jack Kilby 荣获美国国家技术奖章1991年，德州仪器(TI) 新加坡公司获得国家品管圈奖1991年，TI收购James Martin Associates1991年，TI在日本Tsukuba 建立研发中心1991年，TI发展数字成像事业，将数字光源处理(DLP) 推向市场1991年，德州仪器(TI) 英国公司全面质量获得Perkins 奖1991年，TI与HP、佳能、新加坡集团组成合资企业生产SC1992年，Materials & Controls Group 获得加拿大的全面质量奖1992年，TI 首次获得葡萄牙国家质量奖1992年，TI防御系统与电子集团获得马尔科姆·鲍德里奇奖。
apisix 熔断限流
apisix 熔断限流API 网关是微服务架构中的重要组件，它负责处理服务之间的调用和路由。
随着微服务架构的普及，API 网关的性能和稳定性成为了企业关注的焦点。
而APIsix 是一款开源的API 网关，它提供了丰富的功能，包括路由、熔断限流、身份认证等。
其中，熔断限流是APIsix 的一大亮点功能，它可以有效地控制系统的流量和防止服务过载。
本文将详细介绍APIsix 的熔断限流功能。
熔断限流：熔断限流是一种流量控制策略，用于防止系统过载。
在微服务架构中，熔断限流可以帮助系统快速响应流量峰值，并减少因流量过大而导致的系统崩溃。
熔断限流的核心思想是当系统的请求量超过一定阈值时，熔断器将被触发，后续的请求将被限制或拒绝。
这样可以避免因少量请求失败而导致的整个系统崩溃。
API Gateway 是微服务架构的重要组成部分，负责处理服务之间的调用和路由。
随着微服务架构的普及，API Gateway 的性能和稳定性成为企业关注的焦点。
熔断限流的基本思想是在调用链路中添加一个类似于“开关”的组件，该组件根据系统负载情况动态调整系统的流量。
当系统负载过高时，熔断器会触发并限制后续请求的流量，从而避免因请求过多而导致系统崩溃；当系统负载降低时，熔断器会关闭并恢复正常的流量。
熔断限流的核心作用是快速响应流量峰值并保护系统稳定运行。
在微服务架构中，由于服务的分布式特性，单个服务的故障可能导致整个调用链路的瘫痪。
而熔断限流可以在故障发生时迅速切断故障链路，避免因少量请求失败而导致的整个系统崩溃。
同时，熔断限流还可以通过限制流量来减轻系统的负载压力，从而保证系统的稳定性和可用性。
API Gateway 的熔断限流功能可以有效地控制系统的流量和防止服务过载。
在实际应用中，可以根据系统的实际情况选择不同的熔断限流策略，例如基于阈值的熔断限流、基于滑动窗口的熔断限流等。
同时，还可以结合其他功能如身份认证、日志分析等来完善API Gateway 的功能和性能。
consul envoy 用法
主题：consul envoy 用法一、什么是Consul和Envoy1.1 Consul是一款用于服务发现和配置的工具，它是一款开源的分布式服务网格解决方案，由HashiCorp公司开发并维护。
1.2 Envoy是一个高性能的开源边缘和服务代理，由Lyft公司开发并维护。
它可以用作HTTP/2代理，RPC代理和边缘代理，支持多种协议和网络架构。
二、为什么需要Consul和Envoy2.1 在现代的微服务架构中，服务数量庞大，而且动态变化。
因此需要一种服务发现机制来实现服务之间的动态通信。
2.2 另外，由于微服务通常是分布式部署的，因此需要一种高效的边缘代理来实现请求的转发和负载均衡。
三、Consul和Envoy的用法3.1 Consul的用法Consul提供了丰富的API和命令行工具来管理服务注册、健康检查、KV存储等功能。
可以通过以下步骤来使用Consul：- 安装Consul并启动服务节点- 注册服务- 进行健康检查- 服务发现- KV存储等操作3.2 Envoy的用法Envoy提供了丰富的配置选项和API来实现对网络流量的控制和管理。
可以通过以下步骤来使用Envoy：- 配置Envoy的监听器和过滤器- 配置路由规则- 实现负载均衡- 实现服务发现和动态更新- 监控和日志等操作四、Consul和Envoy的集成使用4.1 Consul和Envoy的集成Consul和Envoy可以通过Consul Connect功能进行集成，实现对服务之间的通信的加密、认证和控制。
可以通过以下步骤来进行集成使用：- 安装和配置Consul和Envoy- 启用Consul Connect功能- 配置Envoy的sidecar代理- 实现双向TLS认证- 实现流量的控制和管理4.2 集成使用的优势通过Consul和Envoy的集成使用，可以实现服务之间的安全通信、流量管理和故障恢复。
同时也可以实现对于服务的动态发现和更新，提高了整个微服务架构的稳定性和可靠性。
Istio架构详解
Istio架构详解Istio架构及其组件概述Istio 架构总体来说分为控制⾯和数据⾯两部分。
控制⾯是 Istio 的核⼼，管理 Istio 的所有功能，主要包括Pilot、Mixer、Citadel等服务组件;数据⾯由伴随每个应⽤程序部署的代理程序Envoy组成，执⾏针对应⽤程序的治理逻辑。
常被称为“Sidecar”。
Sidecar ⼀般和业务容器绑定在⼀起（在Kubernets中⾃动注⼊⽅式到业务pod中），来劫持业务应⽤容器的流量，并接受控制⾯组件的控制，同时会向控制⾯输出⽇志、跟踪及监控数据。
Istio 的主要组件及其相互关系⼤致如图所⽰（摘⾃《云原⽣服务⽹格Istio》）。
结合上图我们来理解Istio的各组件的功能及相互之间的协作⽅式。
1. ⾃动注⼊：在创建应⽤程序时⾃动注⼊ Sidecar代理Envoy程序。
在 Kubernetes中创建 Pod时，Kube-apiserver调⽤控制⾯组件的Sidecar-Injector服务，⾃动修改应⽤程序的描述信息并注⼊Sidecar。
在真正创建Pod时，在创建业务容器的Pod中同时创建Sidecar容器。
2. 流量拦截：在 Pod 初始化时设置 iptables 规则，基于配置的iptables规则拦截业务容器的Inbound流量和Outbound流量到Sidecar上。
⽽应⽤程序感知不到Sidecar的存在，还以原本的⽅式进⾏互相访问。
上图中，流出frontend服务的流量会被 frontend服务侧的 Envoy拦截，⽽当流量到达forecast容器时，Inbound流量被forecast 服务侧的Envoy拦截。
3. 服务发现：服务发起⽅的 Envoy 调⽤控制⾯组件 Pilot 的服务发现接⼝获取⽬标服务的实例列表。
上图中，frontend 服务侧的 Envoy 通过Pilot 的服务发现接⼝得到forecast服务各个实例的地址。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Envoy Intro
State of microservice networking in industry
● Languages and frameworks. ● Protocols (HTTP/1, HTTP/2, gRPC, databases, caching, etc.). ● Infrastructures (IaaS, CaaS, on premise, etc.). ● Intermediate load balancers (AWS ELB, F5, etc.). ● Observability output (stats, tracing, and logging). ● Implementations (often partial) of retry, circuit breaking, rate limiting,
6
Envoy config management via xDS APIs
● Envoy is a universal data plane ● xDS == * Discovery Service (various configuration APIs). E.g.,:
○ LDS == Listener Discovery Service ○ CDS == Cluster Discovery Service ● Both gRPC streaming and JSON/YAML REST via proto3! ● Central management system can control a fleet of Envoys avoiding per-proxy config file hell ● Global bootstrap config for every Envoy, rest taken care of by the management server ● Envoys + xDS + management system == fleet wide traffic management distributed system
timeouts, and other distributed systems best practices. ● Authentication and Authorization. ● Per language libraries for service calls.
2
State of microservice networking in industry
are locked into a particular technology stack essentially forever. ● Libraries are incredibly painful to upgrade. (Think CVEs).
3
What is Envoy?
The network should be transparent to applications. When network and application problems do occur it should be easy to determine the source of the problem.
limiting (If I had a $ forБайду номын сангаасevery time someone told me that retries are “easy” …). ● Furthermore, if you do have a good solution, you are likely using a library and
4
Service mesh refresher
SeSrevrivcieceAB SiSdideceacrapr rporxoyxy
SeSrevrivcieceAC SiSdideceacrapr rporxoyxy
SeSrevrivcieceAA SiSdideceacrapr rporxoyxy
7
Envoy architecture
L4 Read Filters
SeSrevrivcieceAD
SiSdideceacrapr rporxoyxy
5
Envoy design goals
● Out of process architecture ● High performance / low latency code base ● L3/L4 filter architecture ● HTTP L7 filter architecture ● HTTP/2 first ● Service discovery and active/passive health checking ● Advanced load balancing ● Best in class observability (stats, logging, and tracing) ● Authentication and authorization ● Edge proxy
and logs with no tracing). ● Limited visibility into infra components such as hosted load balancers,
databases, caches, network topologies, etc.). ● Multiple and partial implementations of circuit breaking, retry, and rate
● Likely already in a world of hurt or rapidly approaching that point. ● Debugging is difficult or impossible (each application exposes different stats