Linux 下iSCSI Target和Initiator安装与操作步骤详解
Linux下配置initiator
在linux上建立能够识别盘阵的方法有三种1、HBA卡；2、TOE卡；3、iscsi-initiator 本次是通过第三种方式实现的，就具体配置进行简要概述一、准备工作因为安装iSCSI驱动需要配合核心来编译，所以会使用到内核源代码，此外，也需要编译器 ( compiler ) 的帮助，因此，先确定您的 Linux 系统当中已经有下列软件的存在：kernel-source 、kernel、gcc、perl、Apache。
打开一个终端，使用命令检查：# rpm -qa | grep gcc；rpm -qa | grep make# rpm -qa | grep kernel(最关键的软件包）根据自身系统的内核版本下载对应的iscsi驱动，利用 #uname –a 查看内核版本二、解压tar包和编译驱动程序 (附送一个华为官方提供的iscsi驱动)#tar -zxvf linux-iscsi-3.4.3.2.tgz# cd linux-iscsi-3.4.3.2# make#make install在编译驱动的时候，我们用到的是make这个命令，这里之所以在 make后面不需要跟所要编译的文件名，是因为在解压出来的包中都会包含一个makefile的文件，在默认情况下执行make就是约定的编译makefile中的内容。
通过以上步骤就可以顺利将iscsi驱动编译完成。
三、修改配置文件在安装好iscsi驱动后，会在/etc目录下生成一个iscsi.conf的iscsi配置文件，用vi 编辑器打开这个文件，在这里添加iqn接点号，密码，IP地址。
Username= “iqn接点号”在配置盘阵的时候，系统会自己生成这个节点号，这个可以在存储的管理控制台上查到Password= iscsimy1Spw 如果在设置盘阵的时候对这个逻辑卷设置了认证，那这里就必须配置节点号和密码DiscoveryAddress=10.1.2.1 iSCSI 储存设备的 IP 地址四、启动iscsi进程#/etc/init.d/iscsi start五、配置iscsi客户端这一步是在iscsi存储的管理控制台上配置的。
linux--ISCSI和CHAP认证
ISCSI映射和CHAP验证一、TARGET端1、安装iscsitarget安装包创建好需要映射的分区，lvdisplay查看逻辑分区，记录分区路径。
2、配置iscsi，并映射分区编辑etc/iet/ietd.conf文件，[root@unaryhost iet]# vi /etc/iet/ietd.conf添加配置内容，其中unaryhost.uarydomain是计算机名，isctest是自定义标识符配置完成，启动服务[root@unaryhost iet]# /etc/init.d/iscsi-target start在win2008可以看到连接的iscsi盘3、CHAP验证配置CHAP验证有两种，一种是针对discovery的，即如果不符合验证的用户名和密码，则initiator端便无法通过"-m discovery"发现指定主机上的任何一个target。
另一种是针对node login的，即果不符合验证的用户名和密码，则initiator 端编无法通过--login登录指定主机上的某一个target。
（1）配置discovery验证格式IncomingUser [name] [password]Discovery验证为全局参数，所以必须放在第一个Target之前此处的name是initiator的名字，也可以自定义字符串。
编辑/etc/iet/iet.conf,添加验证参数（2）配置login验证格式IncomingUser [name] [password]由于是正对login的验证，所以参数放在需要验证的Target后面配置完成，重新启动iscsi服务生效。
[root@unaryhost iet]# /etc/init.d/iscsi-target restart二、initiator端linux1、安装iscsi-initiator-utils-.rpm包安装完毕，启动进程/etc/init.d/iscsid2、发现target格式：iscsiadm -m discovery -t sendtargets -p <iSCSI target ip>:<port> 默认端口3260执行命令显示失败，报错内容是discovery失败，应为我们之前在target端配置了discovery验证。
iscsi配置
ISCSI配置过程为了配合安检项目虚拟ISCSI设备，然后使用另外一个linux作为ISCSI客户端连接。
根据RFC3270的定义，ISCSI分为Target和Initiator，其中Target是IP-SAN设备，而Initiator 为IP-SAN客户端，即使用IP-SAN的设备。
一、配置虚拟IP-SAN设备的方法（1）先选定使用哪个存储设备作为IP-SAN的存储磁盘，可以选择多个，如/dev/had等，为了便于模拟，可以在linux现有文件系统中虚拟一个磁盘设备，方法如下：》mkdir -p /var/lib/xen/images》dd if=/dev/zero of=/var/lib/xen/images/xen-0 seek=1M bs=4096 count=1（2）下载安装iSCSI Enterprise Target，/projects/iscsitarget/files/（3）安装iSCSI Enterprise Target>make kernel>make usr>make install（4）配置/etc/iet/ietd.conf不考虑用户名密码情况下配置方式如下：iSNSServer 192.168.139.166Target .example:storage.disk2.sys1.xyzLun 4 Path=/var/lib/xen/images/xen-0,Type=fileioAlias sdb其中Lun可以配置多个，以达到多个磁盘的目的。
（5）启动服务》/etc/init.d/iscsi-target start（6）查看服务是否工作正常1.dmesg查看是否有错误输出2.cat /proc/net/iet/volumetid:1 name:.example:storage.disk2.sys1.xyzlun:4 state:0 iotype:fileio iomode:wt blocks:8388616 blocksize:512 path:/var/lib/xen/images/xen-03.cat /proc/net/iet/session,可以参考目前有哪些连接二、Linux连接IP-SAN设备的方法（1）安装iscsi-linux软件包，一般系统默认安装都有这个（2）配置/etc/iscsi.conf文件DiscoveryAddress=192.168.139.166:3260其他用户名密码如果需要也需要配置上（3）启动/etc/ini.d/iscsi start（4）执行> chkconfig –list iscsiiscsi 0:off 1:off 2:off 3:off 4:off 5:off 6:off（5）执行> chkconfig –add iscsi执行>chkconfig iscsi on（6）检查是否生效：> chkconfig –list iscsiiscsi 0:off 1:off 2:on 3:on 4:on 5:on 6:off（7）执行iscsi-ls命令，查看设备是否生效******************************************************************************* SFNet iSCSI Driver Version ...4:0.1.11(12-Jan-2005)******************************************************************************* TARGET NAME : .example:storage.disk2.sys1.xyzTARGET ALIAS :HOST ID : 4BUS ID : 0TARGET ID : 0TARGET ADDRESS : 192.168.139.166:3260,1SESSION STATUS : ESTABLISHED AT Tue Nov 2 10:37:31 CST 2010 SESSION ID : ISID 00023d000001 TSIH 300******************************************************************************* （7）执行iscsi-ls –l 命令，查看ISCSI设备对应的设备名*************************************************************************** ****SFNet iSCSI Driver Version ...4:0.1.11(12-Jan-2005)*************************************************************************** ****TARGET NAME : .example:storage.disk2.sys1.xyzTARGET ALIAS :HOST ID : 4BUS ID : 0TARGET ID : 0TARGET ADDRESS : 192.168.139.166:3260,1SESSION STATUS : ESTABLISHED AT Tue Nov 2 10:37:31 CST 2010SESSION ID : ISID 00023d000001 TSIH 300DEVICE DETAILS:---------------LUN ID : 4Vendor: IET Model: VIRTUAL-DISK Rev: 0Type: Direct-Access ANSI SCSI revision: 04page83 type1: 4945540000000000b8c4ba11d91f7f2176be1b9e865c2560page80: 62386334626131316439316637663231373662653162396538363563323536300aDevice: /dev/sdaiSCSI Transport Class version 2.0-871version 2.0-871Target: .example:storage.disk2.sys1.xyzCurrent Portal: 10.0.32.165:3260,1Persistent Portal: 10.0.32.165:3260,1**********Interface:**********Iface Name: defaultIface Transport: tcpIface Initiatorname: .redhat:f3e098a41b5bIface IPaddress: 10.0.32.166Iface HWaddress: <empty>Iface Netdev: <empty>SID: 1iSCSI Connection State: LOGGED INiSCSI Session State: LOGGED_INInternal iscsid Session State: NO CHANGE************************Negotiated iSCSI params:************************HeaderDigest: NoneDataDigest: NoneMaxRecvDataSegmentLength: 262144MaxXmitDataSegmentLength: 8192FirstBurstLength: 65536MaxBurstLength: 262144ImmediateData: YesInitialR2T: YesMaxOutstandingR2T: 1************************Attached SCSI devices:************************Host Number: 13 State: runningscsi13 Channel 00 Id 0 Lun: 0Attached scsi disk sdb State: running****（8）然后需要使用fdisk对/dev/sda设备进行分区，可以分多个区，也可以分一个区>fdisk /dev/sda进入fdisk后，输入n，然后p，然后1等根据提示进行分区操作。
Ubuntu搭建iscsi target登陆挂载存储全过程
1．环境描述Ubuntu14.04-server (iSCSI Target) 10.0.0.4Ubuntu14.04-server (iSCSI Initiator) 10.0.0.52．在ubuntu上搭建iSCSI服务端sudo apt-get install lvm2 iscsitargetiscsitarget-dkms创建物理卷/dev/sdb1pvcreate /dev/sdb1使用物理卷sdb1创建卷组cinder-volumevgcreate cinder-volume /dev/sdb1查看创建的vg：在卷组cinder-volume中创建逻辑卷lv_target0,大小2Glvcreate -L 2G -n lv_target0 cinder-volume查看创建的逻辑卷：逻辑卷自动映射生成文件：→修改/etc/iet/ietd.confiSNSServerx.x.x.x //（iSCSI服务所工作在的IP地址）Target iqn.2016-8.eq:storage.dev_sdb1//开启一个Target，并且这个Target 命名为：iqn.2016-8.eq:storage.dev_sdb1Lun 0 Path=/dev/mapper/cinder--volume-lv_target0,Type=blockio//给target分配卷，路径为逻辑卷路径Alias test //设置别名：testincomingusertest_usertest_pass //设置访问账户及密码→修改/etc/default/iscsitargetISCSITARGET_ENABLE=true重启服务serviceiscsitarget start设置开机启动：mv /etc/rc0.d/K20iscsitarget /etc/rc0.d/S20iscsitarget查看启动的iscsitarget 服务：ietadm --op show --tid=13．在ubuntu上配置iSCSIInitiator安装iSCSI组件：apt-get install open-iscsi修改/etc/iscsi/iscsid.conf添加如下配置，认证方式CHAP，认证账号及密码：重启服务：Service open-iscsi restart注：如果安装有tgt，务必停止tgt服务servicetgt stop否则会导致无法发现target,这是因为我们使用的是iscsitarget来管理iscsi 服务使用port:3260，tgt也使用3260，端口占用导致前者无法正常工作！通过命令发现target:iscsiadm -m discovery -t sendtargets -p 127.0.0.1查看Target节点的具体信息：Iscsiadm–m node –o show登陆到Target节点：iscsiadm --mode node --targetname iqn.2016-8.eq:storage.dev_sdb1 --portal 10.0.0.4:3260 --login查看分区信息：此处为sdb,2G如要使用，使用fdisk 命令进行分区格式化即可。
linux多路径连接iScsi存储_重启自动连接
RHEL系统带有iSCSI initiator软件，下面描述如何配置iSCSI Initiator实现对ISCSI卷的访问1.Linux iscsi 介绍（这一条介绍了linux iscsi的基本原理和相关命令，具体配置时可略过）在Linux内核中提供了iscsi驱动，iSCSI 驱动（driver）使主机拥有了通过IP网络访问存储的能力，驱动在主机（Initiator）和服务端（Target）间使用iSCSI协议在TCP/IP 网上传输SCSI请求和响应，在构建上，iSCSI驱动与TCP/IP栈、网络驱动和网络接口卡（NIC）结合，其等同于SCSI或光纤通道卡适配器驱动对主机总线卡（HBA）的作用。
驱动采用采用模块的方式，具体模块包括iscsi_tcp, libiscsi, libiscsi_tcp。
Initiator守护进程介绍：/etc/iscsi/iscsid.conf --initiator配置文件/sbin/iscsiadm --initiator管理工具open-iscsi包括两个守护进程iscsid和iscsi，其中iscsid是主进程，iscsi进程则主要负责根据配置，在系统启动时进行发起端（Initiator）到服务端（target）的登录，建立发起端与服务端的会话，使主机在启动后即可使用通过iSCSI提供服务的存储设备。
iscsid 进程实现iSCSI协议的控制路径以及相关管理功能。
例如守护进程（指iscsid）可配置为在系统启动时基于持久化的iSCSI数据库内容，自动重新开始发现（discovery）目标设备。
Initiator配置介绍（前提是已经安装iSCSI initiator）1> iSCSI initiator 名称设置initiator名称用来唯一标识一个iSCSI Initiator端。
保存此名称的配置文件为 /etc/iscsi/initiatorname.iscsi，命名规则可采用iqn-type格式，利用 iscsi-iname命令可产出一个名称，将此名称输入到initiatorname.iscsi配置文件即可。
Linux下iSCSI initiator的安装和设置
Linux下iSCSI initiator的安装和设置环境：1、OS：RedHat AS4 (内核版本：2.6.9-22.ELsmp)2、Initiator软件：linux-iscsi-4：0.1.11具体步骤1.在客户端安装RedHat AS4.2 (内核版本：2.6.9-22.ELsmp)光盘。
安装时选择启动激活网卡的端口，并且安装模式选择“个人定制安装”，选择软件包时，在网络配置选项中选中iscsi选项。
2.安装完毕后，通过ifconfig命令，确保Linux系统的IP与IX1000业务口IP在同一网段。
3.设置iscsi服务。
使用setup命令，弹出窗口如下所示：选中“系统服务”，点击“运行工具”，进入服务选项的窗口，按空格键选中iscsi服务，单击“确定”。
如下图所示：4.使用/etc/init.d/iscsi start命令先启动iscsi服务。
5.在/etc/iscsi.conf这个配置文件下，有3项内容需要配置：DiscoveryAddress，OutgoingUsername，OutgoingPassword。
其中“DiscoveryAddress”是业务口IP地址，这个地址是在NeoStor上为Target所分配的IP 地址。
举例说明：注意：如果在NeoStor上没有设置CHAP认证，只需要设置DiscoveryAddress一项内容。
“OutgoingUsername”和“OutgoingPassword”，指的是在NeoStor上创建iSCSI 协议下的Client的过程中，或者是Client的iSCSI协议的属性里，已设置CHAP认证的用户名和密码。
这是针对在NeoStor上设置CHAP认证的情况进行的设置。
对/etc/iscsi.conf这个文件配置如下DiscoveryAddress=10.1.5.2:3260相关的CHAP认证的设置，如：OutgoingUsername=huawei-3comOutgoingPassword=123456789123注意：输入用户名和密码时注意区分大小写！6.在/etc/initiatorname.iscsi文件下设置Initiator的名字，格式如下：Initiatorname=iqn.xxx.xxx:xxx此Initiator是创建时为Client分配的Initiator。
ISCSI简介及linux下实现
Iscsi简介及linux下实现信息时代的到来，给人们带来了更多的方便及享受。
同时，它也成为了组成这个时代的主要元素之一，谁缺了它或离开了它，那么谁就会被这个时代所抛弃。
以前照相一般使用的是胶片式相机，通过暗房冲印把照片洗出来。
而现在，基本上家家户户都有了自家的数码照相机。
当然，照出来的相片也是数码的了。
影视行业亦是如此。
时代总是随着时间在不断的向前发展着。
现在，让我们站在普通公司的角度，去回顾一下他们对数据处理及存储的经历。
2003年左右，国内开始进入了全面信息化阶段。
影像数据可以通过数码设备（如数码照相机、摄像机、手机等）来采集。
并且，为了得到更好的效果，把数据导入到电脑上，使用位图处理软件（如photoshop等）来进行后期的修善。
最后用打印机或喷绘机输出实质性的图像，至此还不算完成。
为了日后的可重复利用，还需把所有数据保留下来，存放在硬盘当中。
日复一日，时间过的很快，没过多长时间，80G主流配置的硬盘空间已所剩无几了。
同时，市场的需求也越来越大，从原来一台计算机增加到两台、三台、四台或更多。
那么这样，问题就会随之而来。
数据被分散在多个独立的机器上，像素材类的资源，每个设平面设计师都会使用到，若每台机器都存放海量的、重复的素材资源，那么在一个店中，数据的重复量有多大呢，而且每台计算机的硬盘也需要很大。
这时候，NAS就随之而生了。
NAS（Network Attached Storage：网络附属存储）：说起它，也许大家会比较陌生。
但是我相信使用过计算机的朋友，对于它的工作原理是一点也不陌生。
NAS说白了就是一台专业的数据共享服务器，它支持的协议有NFS、CIFS、FTP、HTTP等，普通的操作系统都有支持这些协议的客户端程序。
可以直接映射、挂载使用。
这样，重复、大量的数据就可以保存到NAS中，每个需要资源的计算机都可以共同使用这些素材。
而且，客户机只需拥有原有的本地硬盘，所有的生产数据都存放到NAS中，日后存放数据的空间的增加，也只在NAS端完成便可。
Linux-下iSCSI-Target和Initiator安装与操作步骤详解
Linux 下iSCSI Target和Initiator安装与操作步骤详解iSCSI Target 编译安装过程1. 解压：tar zxvf iscsitarget-1.4.18.t ar.gz2. cd iscsitarget-1.4.183. Linux2.6.32的内核太新了最新的iSCSI Target版本1.4.18还没有支持，网上有高手做了相应的补丁，于是打上补丁patch -p1 <iscsitarget-1.4.18+linux-2.6.32.patch4. 编译：make KSRC=/usr/src/linux-2.6.32.25. 安装：make install /usr/src/linux-2.6.32.2iSCSI Target 配置和常用操作详解1. 修改配置文件vi /etc/ietd.conf2. 使用IET管理命令行✧ 添加一个新的targetietadm --op new --tid=[id] --params Name=iqn.foo.example其中[id] 为数字，必须是没有使用过的。
后面的Name 需要自己自定义，也需要保证是唯一的。
当然不知道自己本机所有target id 的话，可以使用这个命令查看当前的target 状态和得到target id✧ 添加一个新的lunNote:在一个已经存在的target 上加入一个lun,以便共享出来给外界。
ietadm --op new --tid=[id] --lun=[lun] --params Path=/path/exported/file,Type=fileio[id] 必须是一个已经存在的tid 号，[lun]可以自己定义。
后面的path 就是共享的路径了。
NOTE：通过这种方式添加的LUN在重启服务之后会丢失。
✧ 停止某个Target的某个Connection的连接ietadm --op delete --tid=2 --sid=562950876233792 --cid=1&& ietadm --op delete --tid=2✧ 停止所有Target的连接ietadm --op delete✧ 删除某个Target（已经没有Session连接的）ietadm --op delete --tid=1上面列出了ietadm常用的命令，关于ietadm 其余的命令，大家可以使用ietadm --help 来查看更多的指令。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Linux 下iSCSI Target和Initiator安装与操作步骤详解iSCSI Target 编译安装过程
1. 解压：tarzxvf iscsitarget-1.4.18.t ar.gz
2. cd iscsitarget-1.4.18
3. Linux2.6.32的内核太新了最新的iSCSI Target版本1.
4.18还没有支持，网上有高手做
了相应的补丁，于是打上补丁patch -p1 <iscsitarget-1.4.18+linux-2.6.32.patch
4. 编译：make KSRC=/usr/src/linux-2.6.32.2
5. 安装：make install /usr/src/linux-2.
6.32.2
iSCSI Target 配置和常用操作详解
1. 修改配置文件
vi /etc/ietd.conf
2. 使用IET管理命令行
✧ 添加一个新的target
ietadm --op new --tid=[id] --params Name=iqn.foo.example
其中[id] 为数字，必须是没有使用过的。
后面的Name 需要自己自定义，也需要保证是唯一的。
当然不知道自己本机所有target id 的话，可以使用这个命令查看当前的target 状态和得到target id
✧ 添加一个新的lun
Note:在一个已经存在的target 上加入一个lun,以便共享出来给外界。
ietadm --op new --tid=[id] --lun=[lun] --params Path=/path/exported/file,Type=fileio
[id] 必须是一个已经存在的tid号，[lun]可以自己定义。
后面的path 就是共享的路径了。
NOTE：通过这种方式添加的LUN在重启服务之后会丢失。
✧ 停止某个Target的某个Connection的连接
ietadm --op delete --tid=2 --sid=562950876233792 --cid=1&&ietadm --op delete --tid=2
✧ 停止所有Target的连接
ietadm --op delete
✧ 删除某个Target（已经没有Session连接的）
ietadm --op delete --tid=1
192.168.5.35:3260,1 .Datastore:C3560:iSCSI.100G.634879
192.168.5.35:3260,1 .Datastore:C3560:iSCSI.Q.634879
✧ 列出所有Target
iscsiadm -m node
192.168.5.35:3260,1 .Datastore:C3560:iSCSI.Q.634879
192.168.5.35:3260,1 .Datastore:C3560:iSCSI.100G.634879
✧ 连接所有Target
iscsiadm -m node -L all
✧ 连接指定Target
iscsiadm -m node -T .Datastore:C3560:iSCSI.janco.634879 -p 192.168.5.35 --login
✧ 带用户名和密码的Target登陆，需要编辑/etc/iscsi/node目录下对应的文件
例如：vi /etc/iscsi/node/.Datastore:C3560:iSCSI.100GTest.741F81
修改
node.session.auth.authmethod = None
为
node.session.auth.authmethod = CHAP
ername = janco
node.session.auth.password = youraregoodman
ername_in =
node.session.auth.password_in =
然后再按照上述方法进行连接
注意，如果执行了discovery后，上述修改将会被还原。
✧ 使用如下命令可以查看数据结构的树状信息
# iscsiadm -m node -o show -T .Datastore:C3560:iSCSI.janco.634879
= .Datastore:C3560:iSCSI.janco.634879
node.tpgt = 1
node.startup = automatic
iface.hwaddress = default
iface.iscsi_ifacename = default
_ifacename = default
iface.transport_name = tcp
node.discovery_address = 192.168.x.x
node.discovery_port = 3260
node.discovery_type = send_targets
node.session.initial_cmdsn = 0
node.session.initial_login_retry_max = 4 node.session.cmds_max = 128
node.session.queue_depth = 32
node.session.auth.authmethod = CHAP ername = janco
node.session.auth.password = ******** ername_in =
node.session.auth.password_in =
node.session.timeo.replacement_timeout = 120 node.session.err_timeo.abort_timeout = 10 node.session.err_timeo.reset_timeout = 30 node.session.iscsi.InitialR2T = No
node.session.iscsi.ImmediateData = Yes node.session.iscsi.FirstBurstLength = 262144 node.session.iscsi.MaxBurstLength = 16776192 node.session.iscsi.DefaultTime2Retain = 0 node.session.iscsi.DefaultTime2Wait = 0 node.session.iscsi.MaxConnections = 1 node.session.iscsi.MaxOutstandingR2T = 1 node.session.iscsi.ERL = 0
node.conn[0].address = 192.168.x.x
node.conn[0].port = 3260
node.conn[0].startup = manual
node.conn[0].tcp.window_size = 524288 node.conn[0].tcp.type_of_service = 0
node.conn[0].timeo.logout_timeout = 15 node.conn[0].timeo.login_timeout = 15 node.conn[0].timeo.auth_timeout = 45 node.conn[0].timeo.active_timeout = 5 node.conn[0].timeo.idle_timeout = 60
node.conn[0].timeo.ping_timeout = 5
node.conn[0].timeo.noop_out_interval = 10
node.conn[0].timeo.noop_out_timeout = 15
node.conn[0].iscsi.MaxRecvDataSegmentLength = 131072
node.conn[0].iscsi.HeaderDigest = None,CRC32C
node.conn[0].iscsi.DataDigest = None
node.conn[0].iscsi.IFMarker = No
node.conn[0].iscsi.OFMarker = No
✧ 查看目前iSCSI target 连接状态
iscsiadm -m session
tcp: [1] 192.168.5.35:3260,1 .Datastore:C3560:iSCSI.janco.634879✧ 通过ls /dev/sd* 查看确认已经增加了磁盘设备
✧ 断开所有Target连接
iscsiadm -m node -U all
✧ 断开指定Target连接
iscsiadm -m node -T .Datastore:C3560:iSCSI.janco.634879 -p 192.168.5.35 --logout
✧ 查看目前连接状态
iscsiadm -m session
iscsiadm: No active sessions. (目前已沒有连接的iSCSI target)
✧ 刪除所有node 信息(需重新discovery)
iscsiadm -m node --op delete。