文章分类
ASP教程 ASP.net教程 PHP教程 JSP教程
 产品搜索
关键字: 分类:

整站搜索:
最新更新资源:
海量设计素材
韩国网页设计模板
高清PSD素材库
Flash网站模板
设计素材图库:
婚纱影楼模板
韩国卡通图库
VIS模板
版式画册模板

最新素材图库



当前位置:首页 >> 编程开发>> ASP.net教程 >> .net2.0中使用SqlBulkCopy进行大批量数据迁移

.net2.0中使用SqlBulkCopy进行大批量数据迁移


作者: 佚名 来源:网络 浏览:2499 日期:2006-7-20 7:26:23

在.Net1.1中无论是对于批量插入整个DataTable中的所有数据到数据库中,还是进行不同数据源之间的迁移,都不是很方便。而在.Net2.0中,SQLClient命名空间下增加了几个新类帮助我们通过DataTable或DataReader批量迁移数据。数据源可以来自关系数据库或者XML文件,甚至WebService返回结果。其中最重要的一个类就是SqlBulkCopy类,使用它可以很方便的帮助我们把数据源的数据迁移到目标数据库中。
下面我们先通过一个简单的例子说明这个类的使用:

 

DateTime startTime;
    protected void Button1_Click(object sender, EventArgs e)
    {
        startTime = DateTime.Now;
        string SrcConString;
        string DesConString;
        SqlConnection SrcCon = new SqlConnection();
        SqlConnection DesCon = new SqlConnection();
        SqlCommand SrcCom = new SqlCommand();
        SqlDataAdapter SrcAdapter = new SqlDataAdapter();
        DataTable dt = new DataTable();
        SrcConString =
        ConfigurationManager.ConnectionStrings["SrcDBConnectionString"].ConnectionString;
        DesConString =
        ConfigurationManager.ConnectionStrings["DesDBConnectionString"].ConnectionString;
        SrcCon.ConnectionString = SrcConString;
        SrcCom.Connection = SrcCon;
        SrcCom.CommandText = " SELECT * From [SrcTable]";
        SrcCom.CommandType = CommandType.Text;
        SrcCom.Connection.Open();
        SrcAdapter.SelectCommand = SrcCom;
        SrcAdapter.Fill(dt);
        SqlBulkCopy DesBulkOp;
        DesBulkOp = new SqlBulkCopy(DesConString,
        SqlBulkCopyOptions.UseInternalTransaction);
        DesBulkOp.BulkCopyTimeout = 500000000;
        DesBulkOp.SqlRowsCopied +=
        new SqlRowsCopiedEventHandler(OnRowsCopied);
        DesBulkOp.NotifyAfter = dt.Rows.Count;
        try
        {
            DesBulkOp.DestinationTableName = "SrcTable";
            DesBulkOp.WriteToServer(dt);
        }
        catch (Exception ex)
        {
            lblResult.Text = ex.Message;
        }
        finally
        {
            SrcCon.Close();
            DesCon.Close();
        }
    }

    private void OnRowsCopied(object sender, SqlRowsCopiedEventArgs args)
    {
        lblCounter.Text += args.RowsCopied.ToString() + " rows are copied<Br>";
        TimeSpan copyTime = DateTime.Now - startTime;
        lblCounter.Text += "Copy Time:" + copyTime.Seconds.ToString() + "." + copyTime.Milliseconds.ToString() + " seconds";
    }
接着具体分析这几行代码:
SqlBulkCopy DesBulkOp;
DesBulkOp = new SqlBulkCopy(DesConString, SqlBulkCopyOptions.UseInternalTransaction);先生成SqlBulkCopy 实例,构造函数指定了目标数据库,使用SqlBulkCopyOptions.UseInternalTransaction是指迁移动作指定在一个Transaction当中,如果数据迁移中产生错误或异常将发生回滚。其他选项请参考MSDN。

DesBulkOp.BulkCopyTimeout = 500000000;
指定操作完成的Timeout时间

        DesBulkOp.SqlRowsCopied += new SqlRowsCopiedEventHandler(OnRowsCopied);
        DesBulkOp.NotifyAfter = dt.Rows.Count;
        try
        {
            DesBulkOp.DestinationTableName = "SrcTable";
            DesBulkOp.WriteToServer(dt);
        }
NotifyAfter属性指定通知通知事件前处理的数据行数,在这里指定为表的行数,并添加SqlRowsCopied事件输出整个迁移过程的时间。WriteToServer方法就是将数据源拷备到目标数据库。在使用WriteToServer方法之前必须先指定DestinationTableName属性,也就是目标数据库的表名,

我们还可以自己定义一个Transaction,例如:

SqlTransaction Transaction;
Transaction =
SrcCom.Connection.BeginTransaction();
SqlBulkCopy DesBulkOp;
DesBulkOp = new SqlBulkCopy(new SqlConnection(DesConString),
SqlBulkCopyOptions.Default,
Transaction);

try
{   
//..
}
catch{}   
finally
{
Transaction.Commit();
}
另外还有一个SqlBulkCopyColumnMapping类,可以让数据源字段映射到目标数据中命名不同的字段上。也就是说如果目标数据和源数据的列名不同时,可以用这个类进行映射:
SqlBulkCopyColumnMapping ColMap = new SqlBulkCopyColumnMapping("SrcCol", "DesCol");
DesBulkOp.ColumnMappings.Add(ColMap);
或者可以直接添加映射:
DesBulkOp.ColumnMappings.Add("SrcCol", "DesCol");
性能问题:
我使用上面的例子测试,迁移了2万条左右的记录,花的时间不到一秒,应改说性能还是不错的。另外,使用SQL Profile监视迁移事件,可以看见请求记录非常少,只有几条而已。据说使用SqlBulkCopy可以大大减少数据迁移的时间。

 


上一篇:用ASP.NET 2.0设计网络在线投票系统 下一篇:ASP.NET中实现模板页
【关闭窗口】 【返回顶部】返回编程开发】 【返回ASP.net教程

相关推荐文章

在ASP.NET At..

当ASP.NET撞上J..

ASP.NET 2.0..

为自己的ASP网站系统..

在ASP.NETAtl..

用ASP.NET 2...

当ASP.NET撞上J..


关于本站 | 广告服务 | 联系我们 | 站长微博 | 活动支持 | 友情链接 | 投稿热线 | 网站地图
版权所有 Copyright@ 2005 设计路上 QQ技术讨论群 24980615(已满) 5204059(已满) 4337615(已满)
业务联系Email:huchuangwu@hotmail.com 粤ICP备05029101号