关于像mysql插入数据时防止插入重复
[问题点数：20分，结帖人wdcqrs]
本版专家分：147
结帖率 86.99%
CSDN今日推荐
本版专家分：4004
2012年12月 Java大版内专家分月排行榜第三
本版专家分：147
本版专家分：338
本版专家分：148
本版专家分：147
本版专家分：14644
本版专家分：147
本版专家分：528
本版专家分：528
本版专家分：1
本版专家分：7011
本版专家分：0
本版专家分：15
匿名用户不能发表回复！
其他相关推荐
MySQL防止重复插入唯一限制的数据，下面我们逐一分析 ：
1.insert ignore into
当插入数据时，如出现错误时，如重复数据，将不返回错误，只以警告形式返回。所以使用ignore请确保语句本身没有问题，否则也会被忽略掉。例如：
INSERT IGNORE INTO books (name) VALUES ('MySQL Manual')
这种方法很简便，但是有一种可能
mysql实现避免重复插入的sql语句简单写法INSERT into bridgepeoplecount(floor,endTime,locationDate,count,expoId) SELECT 0,' 01:00:00','',2,'dbffc9cc7dd64cb57e3415' FROM DUAL WHERE NOT EXISTS
今天稍微研究了下这个问题从网上整理资料大致得到了如下方案，先粗略记录下，下班回去再更详细记录下。
所有的方法都先不考虑性能问题，也不考虑业务，只看逻辑上能否达到去重复插入，因为第一，如果唯一性是必须要保证的，那么只能在先实现了，再去考虑优化；第二，如果能通过调整业务来规避，那我后面说的都是废话了还有什么看头。
1.添加唯一索引。
但这种方法在表中有逻辑删除时会有问题。
方案一：ignore插入时检索主键列表，如存在相同主键记录，不更改原纪录，只插入新的记录。INSERT IGNORE INTOignore关键字所修饰的SQL语句执行后，在遇到主键冲突时会返回一个0，代表并没有插入此条数据。如果主键是由后台生成的（如uuid），我们可以通过判断这个返回值是否为0来判断主键是否有冲突，从而重新生成新的主键key。这是此ignore关键字比较常用的一种用法。方案二：r...
这个文件整整纠结我一个上午，关键问题不是没有方法而是方法不对！
我最初是按照这个方法：
http://www.cnblogs.com/sunzhenxing/archive//1855823.html
怎么试都没有办法插入数据，只能更新成功！请教了别人之后才发现这个方法是不对的！
借鉴上面的例子：
数据库表：TEST
CREATE TABLE
我们在做数据库的数据保存时经常会用到相关的服务器脚本来防止重复保存相同数据，今天我们用insert if not exists条件来防止插入重复记录。
可以通过使用 EXISTS 条件句防止插入重复记录。
示例一：插入多条记录
假设有一个主键为 client_id 的 clients 表，可以使用下面的语句：
INSERT INTO clients
trigger trInsertTest on InsertTest
--取代插入操作的触发器instead of insertasif @@rowcount=0return select * into #t from(select * from InsertTestunion select * from inserted) atruncate table Insert
当程序中insert时，已存在的数据不插入，不存在的数据insert。在网上搜了下，可以使用存储过程或者是用NOT EXISTS 来判断是否存在
使用下以两种方法时必须把字段设为”主键(PRIMARY KEY”或”唯一约束(UNIQUE)”。
1：使用REPLACE INTO (此种方法是利用替换的方法，有点似类于先删除再插入)
复制代码 代码如下:
REPLACE INTO Syntax
今天用python抓取数据入库需要避免重复数据插入,在网上找了一些方法:
方案一：使用ignore关键字
如果是用主键primary或者唯一索引unique区分了记录的唯一性,避免重复插入记录可以使用：
insert ignore into table_name(email,phone,user_id) values('','99999','9999')
避免重复插入数据库use [RYPlatformDB]
if not exists (select * from DataBaseInfo where DBInfoID = 1)
INSERT [DataBaseInfo] (DBAddr, DBPort, DBUser, DBPassword) VALUES ( '127.0.0.1' , 1433 , 'sa', 'fangyuan1793...为了账号安全，请及时绑定邮箱和手机
点击这里，将文章分享到自己的动态
【技术分享】避免MySQL数据库表默认排序造成乱序
废话不多说，正如题目所言，今天我在写后台的时候发现了一个奇怪的现象，于是百度了一下，发现的确需要注意这些细节。
是什么现象呢？就是MySQL数据库在用户删除数据库数据以后排序乱了，不是按照ID的自增进行排序，而是很随意的排序。带着这个疑问，抱着解决问题的态度先解决了这个BUG，然后再找原理。
解决方法很简单，在MySQL的SELECT语句中加个“ORDER BY id ASC”，这是递增排序的语法，倒序则是DESC。
那么问题到底出在什么地方？
首先我们要知道MySQL的SELECT语句默认排序是怎样排序的。MySQL SELECT 默认排序是按照物理存储顺序显示。（不进行额外排序）也就是说SELECT * FROM 会产生“表扫描”。如果表没有增，删，改操作，记录会显示为插入的顺序。这就是初始为什么像是递增的原因。
那么，当我们进行增，删，改以后不难发现会乱序，这便是问题所在。增删改是惯用功能，因此必须注意这个细节。当我们不进行ORDER BY来规定排序时，MySQL将会以最快的形式（物理存储顺序）展示数据，导致乱序。
在开发之中难免遇到像这样排序的问题，我在这里总结一下，如果是多条数据查询输出，养成习惯ORDER BY查询顺序习惯（特别是分页），如果是单个数据大可不必多几句代码占用内存。祝大家进步，新的一年健健康康（不是那个丑康康），快快乐乐！
若觉得本文不错，就分享一下吧！
评论加载中...
相关文章推荐
正在加载中
作者相关文章Mysql如何避免全表扫描的方法
如果MySQL需要做一次全表扫描来处理查询时，在 EXPLAIN 的结果中 type 字段的值是 ALL。
在以下几种条件下，MySQL就会做全表扫描：
1&数据表是在太小了，做一次全表扫描比做索引键的查找来得快多了。当表的记录总数小于10且记录长度比较短时通常这么做。
2&没有合适用于 ON 或 WHERE 分句的索引字段。
3&让索引字段和常量值比较，MySQL已经计算（基于索引树）到常量覆盖了数据表的很大部分，因此做全表扫描应该会来得更快。
4&通过其他字段使用了一个基数很小（很多记录匹配索引键值）的索引键。这种情况下，MySQL认为使用索引键需要大量查找，还不如全表扫描来得更快。
对于小表来说，全表扫描通常更合适。但是对大表来说，尝试使用以下技术来避免让优化程序错误地选择全表扫描：
1&执行 ANALYZE TABLE tbl_name 更新要扫描的表的索引键分布。
2& 使用 FORCE INDEX 告诉MySQL，做全表扫描的话会比利用给定的索引更浪费资源。
SELECT * FROM t1, t2 FORCE INDEX (index_for_column)
WHERE t1.col_name=t2.col_
3&启动 mysqld 时使用参数 --max-seeks-for-key=1000 或者执行 SET max_seeks_for_key=1000 来告诉优化程序，所有的索引都不会导致超过1000次的索引搜索。
Copyright (C) , All Rights Reserved.
版权所有 闽ICP备号
processed in 0.039 (s). 13 q(s)Mysql各种超时时间理解
Mysql各种超时时间理解
Mysql各种超时时间理解
笔者最近做一个项目被mysql驱动包的的超时设置给坑了，起因就是因为没设置好connection timeout 和socket timeout，导致线程全部阻塞等待，机器线程全挂起，也无法处理新的其它请求,所以做了下面一些总结。
Mysql各种超时时间理解
笔者最近做一个项目被mysql驱动包的的超时设置给坑了，起因就是因为没设置好connection timeout 和socket timeout，导致线程全部阻塞等待，机器线程全挂起，也无法处理新的其它请求,所以做了下面一些总结。
1、常见超时
transaction timeout
设置的是一个事务的执行时间，里头可能包含多个statement,statement timeout(也相当于result set fetch timeout)设置的是一个statement的执行超时时间，即driver等待statement执行完成，接收到数据的超时时间(注意statement的timeout不是整个查询的timeout，只是statement执行完成并拉取fetchSize数据返回的超时，之后resultSet的next在必要的时候还会触发fetch数据，每次fetch的超时时间是单独算的，默认也是以statement设置的timeout为准)
jdbc socket timeout
设置的是jdbc I/O socket read and write operations的超时时间，防止因网络问题或数据库问题，导致driver一直阻塞等待。(建议比statement timeout的时间长),默认为0，即永远等待，所以这个参数一定要设置不为0！
connection timeout
建立socket连接的超时时间，单位为ms。在获取链接时，等待握手的超时时间，只在登录时有效，登录成功这个参数就不管事了。主要是为了防止网络不佳时应用重连导致连接数涨太快，默认为0，即永远等待，所以这个参数一定要设置不为0！
os socket timeout
这个是操作系统级别的socket设置(如果jdbc socket timeout没有设置，而os级别的socket timeout有设置，则使用系统的socket timeout值)。
上面的不同级别的timeout越往下优先级越高，也就是说如果下面的配置比上面的配置值小的话，则会优先触发timeout，那么相当于上面的配置值就"失效"了。
Q1. 我已经使用Statement.setQueryTimeout()方法设置了查询超时，但在网络出错时并没有产生作用。
查询超时仅在socket timeout生效的前提下才有效，它并不能用来解决外部的网络错误，要解决这种问题，必须设置JDBC的socket timeout。
Q2. transaction timeout，statement timeout和socket timeout和DBCP的配置有什么关系？
当通过DBCP获取数据库连接时，除了DBCP获取连接时的waitTimeout配置以外，其他配置对JDBC没有什么影响。
Q3. 如果设置了JDBC的socket timeout，那DBCP连接池中处于IDLE状态的连接是否也会在达到超时时间后被关闭？
不会。socket的设置只会在产生数据读写时生效，而不会对DBCP中的IDLE连接产生影响。当DBCP中发生新连接创建，老的IDLE连接被移除，或是连接有效性校验的时候，socket设置会对其产生一定的影响，但除非发生网络问题，否则影响很小。
Q4. socket timeout应该设置为多少？
就像我在正文中提的那样，socket timeout必须高于statement timeout，但并没有什么推荐值。在发生网络错误的时候，socket timeout将会生效，但是再小心的配置也无法避免网络错误的发生，只是在网络错误发生后缩短服务失效的时间（如果网络恢复正常的话）。
用云栖社区APP，舒服~
【云栖快讯】Apache旗下顶级开源盛会 HBasecon Asia 2018将于8月17日在京举行，现场仅600席，免费赠票领取入口&&
MySQL 是全球最受欢迎的开源数据库，阿里云MySQL版 通过深度的内核优化和独享实例提供...
用配置管理（Application Configuration Management，简称 ...
支持 PB 级数据存储的海量分布式关系型数据库。它支持 MySQL 数据库接口，采用可扩展的...
为您提供简单高效、处理能力可弹性伸缩的计算服务，帮助您快速构建更稳定、安全的应用，提升运维效...
阿里云总监课正式启航Mysql如何避免全表扫描的方法_Mysql
作者：用户
本文讲的是Mysql如何避免全表扫描的方法_Mysql，
在以下几种条件下，MySQL就会做全表扫描： 1&数据表是在太小了，做一次全表扫描比做索引键的查找来得快多了。当表的记录总数小于10且记录长度比较短时通常这么做。 2&没有合适用于 ON 或 WHERE 分句的索引字段。 3&
在以下几种条件下，MySQL就会做全表扫描： 1&数据表是在太小了，做一次全表扫描比做索引键的查找来得快多了。当表的记录总数小于10且记录长度比较短时通常这么做。 2&没有合适用于 ON 或 WHERE 分句的索引字段。 3&让索引字段和常量值比较，MySQL已经（基于索引树）到常量覆盖了数据表的很大部分，因此做全表扫描应该会来得更快。 4&通过其他字段使用了一个基数很小（很多记录匹配索引键值）的索引键。这种情况下，MySQL认为使用索引键需要大量查找，还不如全表扫描来得更快。 对于小表来说，全表扫描通常更合适。但是对大表来说，尝试使用以下技术来避免让优化程序错误地选择全表扫描： 1&执行 ANALYZE TABLE tbl_name 更新要扫描的表的索引键分布。 2& 使用 FORCE INDEX 告诉MySQL，做全表扫描的话会比利用给定的索引更浪费资源。 SELECT * FROM t1, t2 FORCE INDEX (index_for_column) WHERE t1.col_name=t2.col_ 3&启动 d 时使用参数 --max-seeks-for-key=1000 或者执行 SET max_seeks_for_key=1000 来告诉优化程序，所有的索引都不会导致超过1000次的索引搜索。
以上是云栖社区小编为您精心准备的的内容，在云栖社区的博客、问答、公众号、人物、课程等栏目也有的相关内容，欢迎继续使用右上角搜索按钮进行搜索mysql
mysql 避免全表扫描、oracle 避免全表扫描、避免全表扫描、如何避免全表扫描、sql 避免全表扫描，以便于您获取更多的相关知识。
弹性可伸缩的计算服务，助您降低 IT 成本，提升运维效率
40+云计算产品，6个月免费体验
稳定可靠、可弹性伸缩的在线数据库服务，全球最受欢迎的开源数据库之一
云服务器9.9元/月，大学必备
云栖社区(yq.aliyun.com)为您免费提供相关信息，包括
，所有相关内容均不代表云栖社区的意见！}