萨固密:蛙蛙推荐：多进程多线程访问数据库 - 蛙蛙池塘 - 博客园

来源：百度文库编辑：九乡新闻网时间：2024/04/26 12:43:59

蛙蛙推荐：多进程多线程访问数据库

如何让多进程多线程访问数据库，而不会选择相同的数据，这在设计分布式程序的时候经常用到，多台机器的多个进程，每个进程都有多个线程，每个线程要从数据库里取数据来处理，要实现不能漏取数据，也不能重复取数据，这里给出答案

创建一个数据表，如下，一个自增列，一个表示rss链接地址

CREATE TABLE [dbo].[Rss_RssSources](
[SourceId] [int] IDENTITY(1,1) NOT NULL,
[Link] [varchar](1024) NOT NULL
) ON [PRIMARY]

先放1w条数据

declare @i int
set @i = 1
while @i <10000
begin
select @i = @i +1
insert into [Rss_RssSources] values(newid())
end

再创建一个锁表，一个字段表示是否已经锁定的资源，另一个表示已经读取的rss源的最大id

create table Rss_RssSourceLock
(
IsLock bit,
MaxSourceId int
)

初始化数据

insert into Rss_RssSourceLock values (0,0)

下面我们要设计一个存储过程，让这个存储过程每次返回10个rss源，知道返回所有的rss源，要求无遗漏，无重复返回。如下

CREATE PROCEDURE [dbo].[USP_GetRssSources]
AS
BEGIN
if exists(select * from Rss_RssSourceLock with(READPAST) where IsLock = 0)
begin
declare @select_count int
begin tran
  update Rss_RssSourceLock set IsLock = 1

  if object_id('tempdb..#t') is not null
   drop table #t

  select top 10 a.* into #t from [Rss_RssSources] as a
  inner join Rss_RssSourceLock as b
  on a.SourceId > b.MaxSourceId
  order by a.[SourceId]

  select @select_count = count(*) from #t

  update Rss_RssSourceLock set IsLock = 0,MaxSourceId = MaxSourceId + @select_count

  select * from #t
commit tran
end
END

1、如果锁表里显示没有进程正在读取rss源（IsLock = 0），那么就返回从最大的rss源id往后的10个rss源，否则返回空。
2、用with(READPAST)表示忽略锁住的行，如果另一个进程正在执行update Rss_RssSourceLock的语句，并且在事务提交前，update语句会锁住这些要更新的行，而Rss_RssSourceLock表就一行数据，这时候select Rss_RssSourceLock表并且忽略被锁的行肯定是没数据的，所以本次存储过程执行会返回空。
3、begin tran和commit tran保证了即使本次存储过程出错，也不会让Rss_RssSourceLock表处于IsLock = 1的脏数据状态，如果处于这种状态，后面的进程执行存储过程就永远也返回不了数据了。
4、因为有时候一次选取的记录可能不够10条，所以这里用了个临时表来暂存记录，再算出来选取的条数，最后更新Rss_RssSourceLock表的MaxSourceId字段。但用临时表肯定会增加数据库的压力，这里不知道用表变量是不是会改善性能，暂时先这样了。
5、应用里调用这个存储过程，如果返回了数据，就进行处理，如果没返回数据，就sleep几秒才执行，直到返回数据。

我测试了一下，应该没问题，俺是数据库菜鸟，有高手的话给指点指点有没有隐患和bug
相关链接：
关于sqlserver锁的一点儿讨论
http://topic.csdn.net/t/20061127/12/5187714.html#

绿色通道：好文要顶关注我收藏该文与我联系

蛙蛙王子
关注 - 1
粉丝 - 51关注博主00(请您对文章做出评价)« 上一篇：蛙蛙推荐：谈谈网络爬虫设计中的问题
» 下一篇：蛙蛙推荐：设计一个可超时的阻塞方法
posted @ 2008-04-19 23:36 蛙蛙王子 Views(4923) Comments(50) Edit 收藏

Post Comment

蛙蛙推荐：多进程多线程访问数据库 - 蛙蛙池塘 - 博客园在ORACLE里通过异构服务设置访问多个SQL Server数据库 - 设计前沿 VB通过DAO访问Access数据库2 ADO.NET的数据库访问小结 Matlab中使用ADODB访问数据库 VC用ADO访问数据库全攻略多线程欢迎访问****博客 [转]NoSQL数据库笔谈 - 心飞翔 - 博客园需要在视图层访问数据库web.xml添加简介MFC访问数据库的几种方式 VC++6.0下使用ADO技术访问SQL 数据库使用VB或VBS访问WINCC6.0历史数据库 Java:多线程模拟多站点售票过程数据库 sql数据库反规范设计常用方法 - 向翔，Keep Walking! - 博客园论IP地址在数据库中应该用何种形式存储 - 吴秦（Saylor） - 博客园（四）多对多模式 - 数据库模型设计专栏 - CSDN博客 IIS6.0应用程序池回收和工作进程(转) - 我的大房子 - 博客园数据库触发器 - chinayuan的专栏 - CSDN博客 oracle通过透明网关，创建dblink，访问ms sql server和其他数据库 -... 推荐：监控数据库性能的SQL语句汇总多域之间的共享访问AGDLP策略 - net学无止境 - 51CTO技术博客让别人访问你的博客