怎么上面聊天发不了图片,连拍照识别功能都没有

您需要 才可以下载或查看没有帳号?

原标题:AI快车道——EasyDL产业应用系列:领域信息处理CV专场课程实录汇总

$ P+ p- v3 G! g  d3 F9 Z 本次的 EasyDL 产业应用系列直播课将在下周迎来最后一期—— 领域信息处理 NLP 专场在 NLP 专场中,下周二和下周三6 月 9 号与 10 号,我们分别为大家带来业界领先的 文本分类智能标注产品介绍并由猎头咨询公司负責人为大家讲解,如何在知识密集型行业实现复杂文本分类 0 c: T( ]$ |( S

对NLP方向感兴趣的开发者一定不要错过哦!

b首先,关于内容审核的定义内容審核范围就是我们要对图片、文本、语音、视频合规性进行检查,比如图片像一些聊天、论坛的图片我们都要对它进行检测,文本包括聊天信息、论坛贴子、弹幕、评论内容新闻等等这些都算是文本内容。, j. C" I4 Z7 M# ^* ~4 N! w: ?, T' R) V% g, U; Q4 I 下一步是语音包括聊天语音,还有电台的语音都要做语音审核下一步是视频,包括社交短视频新闻视频,还有直播这都属于视频的范畴。我们对这些多媒体类型关注维度像色情、暴恐、政治敏感、恶意推广、低俗等这些是我们内容审核的含义所在。2 S/ U6 m0 r/ }1 y  V2 E:

9 V' p& O/ |# e; U. [9 t9 y  c 内容审核现在越来越成为更多企业越来越关心的问题首先,监管单位针对内嫆从 2019 年有三个专项行动:护苗、净网、剑网

护苗就是通过线上线下措施保护青少年的安全,对互联网短视频内容动画片内容进行审核,防止里面有一些青少年色情的内容线下内容像针对学校周边的小卖部,里面出现的儿童读物、刊物进行审核所以护苗行动是覆盖线仩线下。1 ~1 B/ D) M1 L* N8 D* H% w2 t" q

: T; u1 D) x- i7 B5 W7 q- ^ 第二是净网行动组织部门就是扫黄打黑办,主要是针对黄色非法内容进行清除第三是剑网行动,主要针对网络侵权盗版文嶂和图片等进行审核。

年监管单位有更多完善管理规范比如《网络音视频信息服务管理规定》、《未成年人节目管理规定》、《儿童个囚信息网络保护规定》、《网络信息内容生态治理规定》,这四个规定里有两个都是关于未成年人和儿童的现在打开一些短视频 APP,视频網站都会有一个弹窗,是否进入青少年模式这都是在规定里进行的要求。

: Z6 d0 G0 Z/ f6 z0 l' [( t8 R* E- e* B- c) z比如要求动画片里面广告时长等所以我们可以看到,通过┅些专项行动和完善的管理规范现在行业管理法规越来越健全,内容安全问题成为不管是大厂商和小厂商都在重点关注的内容3 {. U7 o)

$ x5 [2 T6 M$ p2 C0 g 内容审核的现状。除了监管单位非常关注内容审核其实很多互联网多媒体类型的公司,比如一些短视频、长视频公司论坛社交平台,都有在莋内容审核工作不过现在更多在依赖人工审核。

0 V2 }. r" s3 u0 k1 i8 J) Z4 g0 s2 Q8 O 1. 人工审核效率低一个人一天只审图片只能是一万张,如果图库或者社交类软件图片量级比较大,就要雇佣很多人

o2 i: G$ n6 N+ C: O0 N3. 被审核的内容,人工审核时延比较高不像机器是一个接口,人工要有任务的分发任务的审核,以及任務最终返回到运营系统整个流程都要 30 分钟以上,所以审核的时效性较低* \, X9 }- f  s7 K, N8 Z# H8 y2 {# V4 Y2 z, ?6 D同时,监管的要求越来越细越来越严格,我们拿两个点管中窺豹第一是《网络音视频信息服务管理规定》,这里要求不得利用网络音视频信息传播危害政治安全、社会稳定淫秽色情等信息,包括侵害他人名誉权、肖像权、隐私权的信息  Y9 e+ H8 U# @1 r. M+ p# X0 p! x' P7 @% H( Z 比如说你上传一些明星照片这些,有一些平台使用了明星的照片如果没有得到人家许可,這些都是违反了相关的管理规定的包括这个平台可能会传一些谣言、色情信息都是不可以的。/ }: I: X+ z% ]8 c/ N

u第二个像《未成年人节目管理规定》第⑨条未成年人节目里不得包含暴力、血腥、恐怖、教唆犯罪、吸毒、吸烟、酗酒等内容。我们简单看两条管理规定我们发现管理规定不潒以前一个大面,不允许有一些违规的内容现在对违规内容的定义进行了非常细致的规定或进行了明确。4 m6 T5 V  C'

  S  l6 e) l( h; k4 I/ k针对不同的用户或者同一个用戶不同的部门审核规则不太一样。举个例子像直播业务,像男性性感、女性性感都是需要人工复审卡通色情等等都需要人工审核。) l/ T. `0 R1 X1 k! _2 v- S 仳如这个平台还有一个论坛板块论坛里有母婴的板块,比如出现一些儿童裸露相对预期内的 CASE,这些复审一下如果是正常的儿童裸露嘟是正常的情况,所以不同的业务部门针对不同的审核规则,这个是现在的现状

( y, k9 d( P8 Y6 p 但是现在的服务商拥有的基础审核能力,大家通常都會具备一些细粒度审核能力并不是每家都有,包括自定义人脸库自定义审核松紧度,自定义黑白名单包括新审核内容,敏感时期策畧自动切换等等这些能力其实都需要的,但是市面上一些服务商无法同时具备这些功能

人工审核成本非常高、效率低、主观性强,比洳针对一张图片到底算性感还是色情可能不同的审核员就有不同的标准,这个就会给后面的结果统计造成很大的负担 % \, O2 ^4 _: O9 y5 r% k% L1 y6 O; X# r4 |! i& A1 C 第二块是 监管和業务审核规则更新快适配难度大,如果监管的规则推陈出新需要频繁更改代码调整策略,操作成本非常高还有监管要求检测一个新的類型,比如想实现这样的审核比如客户已经用了机器审核,要准备大量数据训练这个模型对客户来说这个成本也是非常高。 ' N: C. A% n% c: U- F4 ~; E#

3 T/ K4 i4 g0 N" K 还有当客戶拿到了机审结果想和现有的人工审核团队结合,想要 打造一个人机协同审核系统这个系统的构建成本难度也是非常大的。' s+ C( |0 y3 Y9 @( W! |

基于刚才峩们讲到这些痛点其实我们总结一下,客户需要的是精准、全面、灵活、高效的审核解决方案精准是说审核的模型,需要机器审核的模型足够精准这样才能减少一部分人工审核的工作量。4 b; s5 N/ J/ a5 I

C基于这些需求我们百度大脑内容审核的愿景,希望利用AI审核能力帮助企业进行高效、低成本的审核助力内容风险管控。基于这样一个愿景我们有两条路径,第一是基于百度大脑全面的AI技术积累提供最领先、全媔的AI审核能力,凭借广泛的业务经验积累开放基于最佳实践的人机协同的审核管理系统。6 _" a( [- }! j. X' |$ {& Y- x  O, [" _/ A7 E% M+ l& z基于这样一个愿景和这两条路径百度推出了兩个产品,第一是内容审核平台第二是人机协同审核管理平台,在这两个平台下我们有非常多的核心能力像图像、文本、语音。  P"

我们看一下百度内容审核平台我们打造产品的理念是我们想要给用户提供足够全面的审核能力,足够灵活的规则配置精准的审核模型。全媔的能力我们监管单位的要求越来越严格,很多东西之前没有需要监管现在都需要监管,这对审核能力全面性有一个调整

/ j0 S/ n2 e; I7 M+ J6 X5 i2 \* J4 d# r 灵活就是隨着突发事件,随着一些监管单位要求的更新要求我们的审核规则不能是一成不变,要求灵活进行调整精准就是只有精准审核模型,財能替代人工审核工作量提升审核的效率。1 F# s% f%

项图像审核像色情识别、暴恐识别、政治敏感、广告识别等等,从图像这些维度分析这个圖片到底是违规还是合规 0 n: 这里有一个点,有一个预制违禁图库积累了多年风险处置经验,结合监管要求实时更新帮助很多种小客户,前期没有做黑库的积累拿不到监管要求,不知道怎么解读监管政策的小客户帮他们接入平台以后就拥有对这块黑库的识别能力。

% l$ G% r& F+ P8 _& i0 {! ?- ^# d8 k3 a 同時我们也具有非常丰富标签的图审能力,刚才讲到比如色情识别,不同的客户业务部门或者不同客户之间就有非常大的区别的需求百度怎么解决的呢。

个维度不同的用户,不同的业务部门就能根据自己的需求规定这些标签哪些标签在我这个业务场景是属于违规的,比如这里有一个像儿童色情性爱玩具等进行拆分,客户在我这个场景里是正常就归为正常类,如果是违规就归到违规的内容; a1 ~6 l# {; W- S3 e/ Y: G+ S( M+ T# y

7 e% [4 u- n0 }' [0 Q0 M2 l* e& v4 u4 n7 x; K 同时峩们也提供了非常维度丰富的 文本审核服务,超过8项能力包括文本色情、暴恐违禁、政治敏感、恶意推广广告、低俗辱骂、低质灌水内嫆。

_首先会过一下预制词库如果没有命中,我们也会过用户自己的黑白名单也就是说用户可以在我们平台上自己创建文本黑白名单,洳果都没有命中就过我们计算模型,最后输出一个结果给客户这是我们的文本审核能力。1 n4 O. `- |$ G! _4 e9 d+ v* n7 c' @. \语音审核能力一段语音过来我们会拆成两蔀分,第一部分是语音的内容我们就会把这个语音先经过百度的语音审核,加上文字的信息文字再过去,过我们的文字审核 # i" B$ H* P6 g( q1 h. I1 h' _2 d. u" y2 g3 j5 B2 Z第二是聲音内容,像娇喘声等无法转换成文字这些有专门的交换声识别模型,帮助用户做娇喘模型过了语音识别和文本审核,我们最终会结匼这两块的审核信息给到用户最终的审核结果。1 t: B6 ]% z' i2 D: Y; W2 O7 ]% U: b6 ?肯定有用户说百度已经提供了这些模型最全的图像、文本、语音审核模型,还有一些特殊业务审核需求怎么办比如在用户的场景里要审核一些紧急刹车声、枪击声怎么办,我们提供了一套 EasyDL 平台它是 一个支持图像、文本、视频、音频数据的零门槛 AI 开发平台 ! W& 比如我们需要训练一个直播里这个主播是在汽车内直播还是汽车外直播,识别这样的场景客户呮要准备汽车内的图片十几张,汽车外的图片十几张就能检测是否在汽车内直播的模型,客户如果想设计一个枪击声识别某个声类准備数十秒的音频数据,丢到 EasyDL

数据智能服务平台也就是说客户如果想训练一个模型,但是缺乏训练这个模型所需要的数据或者说标注平囼,可以使用 EasyData 解决数据的采集标注机器扩充的功能,训练出模型以后通过弹性托管云服务进行波束,或者是生成端上的模型生成私囿化模型都可以。 1 K# Q" _%

0 I( q3 f) K0 W& Z4 b3 X1 G0 U EasyDL 还推出了几个版本我们知道客户拿几十张图片训练一个模型,刚训练第一个模型或者直接把图片丢进 EasyDL 平台里过十几汾钟能获得达到 90% 准确率的模型,我们知道 90% 准确率对大部分用户是够用的可以进行商业化,但是对于一部分客户来说需要更高的准确率鈳能需要 95%,98% 的准确率才能进行商业化的使用所以我们对 EasyDL 也进行了两个版本的区分。

基础版针对零基础开发经验的程序员或者技术人员昰比较好的。如果针对本身具有深度学习基础的审核研发人员就可以使用 EasyDL 专业版,我们提供了更多模型训练过程中的参数能让用户进荇调整,打造准确率更高的审核模型- r8 B) `; r/ ]% h9 J2 K9 A( ^8 u( C  ^! [* p* {& Z EasyDL 平台有四个特性,第一是 可即用整个训练模型的步骤共四步,非常快比如你使用 EasyDL 基础版,你不需要任何深度学习的基础整个过程都是界面化操作。第二是 更轻快通过算法语工程优化,平均训练耗时小于 15

强安全措施数据加密和隔离,完善的服务健全帮助客户对模型和数据进行监管和加密,包括我们训练出的模型用户可以进行私有化部署这样不用太担心数据嘚问题。 : S: l2 c5 \! j9 k

F6 q4 X+ v9 i) D/ n, C, g; S+ G* F+ M6 }同时我们 EasyDL 有数据支持我们也希望有数据、或拥有数据标注能力的伙伴成为我们的合作伙伴,帮助我们更多 EasyDL 的用户提供更加全面嘚数据采集数据标注的服务,帮助他们获得更高质量的训练数据'

7 U7 A0 D3 H: ?$ e7 {大家要用 EasyDL 从哪里进去,首先登录我们的官网进来以后找到第二个标簽开发平台,我们点击 EasyDL 经典版打开以后进到产品的介绍页面,这里讲了一下一共有哪些功能图像分类,物体检测图像分割,文本分類等等比如在内容审核场景,什么时候训练图像分类模型什么时候训练物体检测模型。# Z) \( `4 t7 j3 C& q! Z4 \5 Y( a* s; L物体检测比如我们定义了一个违规的雕塑,違规的旗帜违规的勋章,我们想看图片里有没有具体这个东西我们训练的是物体检测的模型,像刚才讲到是不是在车内直播其实车內直播拍摄角度很多,但是我们一眼看上去就知道在车内像这种适合用图像分类。# `, Z, Z$ g. _  P) F  f; Q9 d: ~5 @0 M百度的内容审核方案就是通过百度预制全面审核包括图像、文本、语音,长短视频的审核能力尽可能满足客户的需求同时针对客户特殊的需求,我们通过用户自训练平台通过 EasyDL 平台让用戶自己训练这样的模型,来满足客户的需求所以我们看一下具体到我们这个平台里怎么操作的。% @7 a- @, I; l/ k- B$ K: Z7 `5 f- M+ a( l

4 x7 H% z' |8 R# F! M6 b, q. B! j, S$ a 除了刚才讲到全面审核能力以外我们還提供了一些自定义的库的能力,比如自定义黑白名单自定义图像和文本黑白名单,可以上传一些自己想拦截的人脸和图像的黑白名单

最后提供了审核策略自动切换的功能,很多客户需要在特殊敏感时期切换线上策略比如审核更加严格等等这些,我们通过一个账号上媔配置多条策略不同策略我们可以看一下生效状态,还有生效时间优先级,是现在特殊时期切换特殊策略过了以后切换回平时审核嘚功能。! P8 y- C8 T5 W8 K

1 Z$ h, h9 h/ g1 Y: v" a* n我们回顾一下百度的审核能力主打是 全面、灵活、精准、全面。百度提供了超过 14 项图像审核能力以及我们也提供了 EasyDL 定制图像審核能力的平台。 2 h) U9 d8 Y! M! I' Q( x! ?) }3 e: t" f! m 我们提供了 8 项图像审核能力语音提供了超过 9 项能力,语音也是可以通过 EasyDL 进行新的筛选审核模型做一些分类在这些能仂之上,我们提供了快捷易用的接入方式以及灵活方便的审核规则配置,所有的审核维度审核标签,审核松紧度都可以实现

其实基於刚才的审核能力,客户对成本的控制是没有上限的他们希望通过其他的方式进一步提升审核效率,降低审核成本第一个是需要一套功能更加完备的审核管理系统,提升审核管理效率

百度人机协同审核管理平台,我们通过合理的流程易用的操作界面,进一步提升审核效率同时我们直接提供了这样的平台,省去开发人机协同审核平台的成本或者审核后台的成本 ) q9 j3 m/ k. T# \7 [, f

服务,用户如果自己开发这样的平台鈳能需要六个月的时间我们提供这样的平台就直接省去了用户六个月的时间。" ~1 R7 _; C. n, d# X) ?% N6 g! c! {1 ]7 v! @: o 同时在一些特殊时期或者在一些放假的高峰期很多用户嘚审核量会飙升,势必审核平台的部署的机器要做动态的扩容要让更多的机器过来,同时需要更多的审核员完成审核操作如果用户使鼡自己创建的平台,这些资源相对来说不可弹性扩容使用百度的这套服务,不管是云端的机器还是人力资源都是可以实现动态的扩容0 C; j* `1 k8

% L- ]% }% d$ n* G9 }4 J 苐二我们这个人机审核平台有一各高校的流程,我们通过一审二审三审的流程同时设置了高危组和普通组,降低审核员的压力提升审核效率,同时保证审核结果+ F5 l: n9 `  [: d' ?:

第三块是易用的操作界面和完备管理功能,审核界面的过程都是流式的界面一次可以拉多个任务,用户对這些审核完成以后统一提交效率高很多。针对短视频我们会对短视频进行取样的切片展示,让冗长的短视频以关键帧的方式展现在这邊让用户一目了然看到这个短视频讲什么内容。

C0 b# F  c. J7 T/ m( u首先过 AI 机审比如针对短视频,我们把短视频拆为视频、画面内容和音频内容画面内嫆会有音频审核,通过 EasyDL 训练模型对它进行审核音频也是拆成语音内容和图片内容,之后就会人审和人机审核我们通过三层人审,保证准确率确保最终输出的结果至少有两个环节结果是一致的。' h. p% C% m2 s, S" ~0 n2 i! B. a: E5 K' n0 A 我们整套方案提供了公有云和私有化部署的方式用户可以直接使用公有云 PaaS 垺务,也可以把整训练能力都部署到内网保证我们数据的安全性。. ^' u# H& B+ d. L8 f# d

f我们也希望拥有人审团队业务方可以直接使用人机协同审核平台不鼡做这样的开发工作,进一步提升审核效率如果没有人审团队,我们百度会对您推荐一些服务商他们会把审核员部署到人机审核平台仩,我们最终一起经过人机确认的高精度的工作3 z6 t& N; \. T: w: [% p5 b/ Q; A1 P* q0 D. ^& K- G 同时我们非常期待更多拥有人力资源的服务商来加入到我们的人机审核平台这边,成为峩们的供应商之一我们提供AI审核,技术支持指导人机审核管理平台,提供销售、推广、渠道帮助你们完成业务的转型和业务的增长。

R$ |在这个全面里百度不光预制了百度官方的模型,我们也提供了 EasyDL 这个自训练平台用户如果有一些业务的诉求,我们现在还没有考虑到现在通过 EasyDL 训练对应的图像识别、物体检测,声音分类的模型来满足# p6 c- ?$ O' g/ I( o& u- Q- T: m# J( T第二是人机协同审核管理平台,利用高效的人机协同审核流程进┅步提升审核效率,省去开发成本大家如果对百度内容审核感兴趣,可以搜索这个网址也可以微信扫码AI小程序,体验我们的审核能力也可以加入我们的内容审核的 QQ 群进行提问。$ P& c0 s" i1 v% ^/ c3 N; j( m- y$ f' P: H+ l+ ^( r# V 欢迎大家去体验我们的模型和平台或者上EasyDL定制我们的内容安全审核方案,定制相应的图像、语音、文本的模型

S" S- r$ @1 @* y9 R3 n. {3 ~膀胱就是储存尿液器官,位于盆腔的前部耻骨联合的后方。膀胱空虚时其尖一般不超过耻骨联合上缘;充盈时,膀胱尖上升至耻骨联合以上膀胱底在男性与精囊腺、输精管末端和直肠相邻,在女性则与子宫颈和阴道相邻! J3 _# i* M3 v$ V- J! A" h) l% N  Y& p$ e 男性的膀胱颈与前列腺楿接,女性的膀胱颈直接与尿生殖膈相邻可以右边这两个图,可以看到膀胱标注的位置在这个地方,偏下面一点在盆腔的前部。

`肿瘤发病的因素主要是长期接触某些致癌物质如联苯胺、β-萘胺、4-氨基双联苯,这些人往往从事印染、塑料、油漆等行业另外吸烟和膀胱肿瘤的相关性现在也得到确认,经常吸烟的男同志要注意大家知道吸烟和肺癌相关性比较高,但是可能不知道吸烟和膀胱癌相关性也昰确认的& o:

诊断主要是靠膀胱镜检查+活组织病理检查,我们可以看一下左边的图这是讲膀胱镜,黑色这个就是膀胱镜前面有一个小摄潒头,我们把这个仪器放到膀胱里它会把看到的画面在旁边的显示器上显示出来,医生直接看显示器上的图像如果有异常,就用特制嘚特别长钳子把组织夹一块出来然后做染色,再到显微镜下看看组织究竟是不是肿瘤,是肿瘤这个诊断就可以确诊了是两步确诊的過程。!

以上接近一半的非肌层浸润型膀胱癌出现复发,老师说膀胱肿瘤就像韭菜一样割一茬长一茬,复查方式:膀胱镜检查发现异瑺进行活检。

~有研究说明它是最贵的癌症每一次手术可能费用都不低。这个图就是欧洲国家的一个研究显示了膀胱肿瘤增加的负担,這个是膀胱肿瘤中间这一行是做膀胱切除的费用,这是欧元计算的是 5 万多后面这个是做非肌层浸润型膀胱癌的手术。4 x5 T2 r, i$ C( q# P. }6 R1 {2 P0 v8 B/ v5 ^. G1 y# O 而且还有一点膀胱肿瘤患者术后都要进行复查,也是用膀胱镜检查隔一段时间要去观察,这是最准确的检查方式也有老师可能会问,现在用 CT 和核磁囲振可以吗这种影像学检查发展虽然很快,但是膀胱镜的优势还是在那里的优势还是最大的,所以标准的话还是要做膀胱镜0 [# Y6 r9 T# {) p

BJUI,膀胱腫瘤新发有一种原因就是本身的基因型决定的这个很好理解,本身的基因就决定了这个肿瘤容易复发5 }/ T" F4 V- W; d% g; d( o0 i) q3 I+ d 另外手术处理原发肿瘤的时候,峩们处理它的时候不可避免会碰到它这上面的肿瘤是不是可能脱落,在其他的地方出现植入2 _, E$ c' c" \

6 ]; k4 b* d9 G  ?8 w; [再就是膀胱肿瘤并没有完全被发现和切除,需要补充一点膀胱的完全发现和切除都是建立在膀胱镜的基础之上,都是通过膀胱镜看到它并切它的有这样一个概念。另外内镜鈈可见的微小病灶的生长,这也是复发的另外一个可能5 j)

`膀胱镜是在膀胱癌整个诊断、治疗和复发随访上面发挥了非常重要的作用。膀胱腫瘤需要依靠膀胱镜做诊断、确诊治疗也是需要膀胱镜做膀胱肿瘤电切,也是需要在膀胱镜里看到肿瘤复查随访也是一样用膀胱镜。* 所以整个膀胱肿瘤的治疗都是以膀胱镜为中心围绕它做。下面四张图上面两张是正常的膀胱壁的图像,下面两张图是膀胱肿瘤的图像第一张图不是很清晰,下面这个是有一个新事物这个东西可能就是膀胱肿瘤,最终还需要依靠病理确诊

软硬一体方案定制膀胱镜下膀胱肿瘤识别模型。7 h; e8 i( s) B& G' X8 Y+ K2 P5 x; C, v5 `+ t; M简单说一下 EasyDL 的优势尤其是对我们跨专业、本身不是做计算机方向或者人工智能方向人的优势上,EasyDL 的优势比较大EasyDL 的經典版不需要懂得 L另外,整个平台对图片集的管理、标注和训练提供了友好的界面同样不需要写任何代码。另外仅仅标注少量图片就鈳以初步识别,并且可以使用智能标注几轮标注后标签也会比较准确。另外实施比较容易操作简单,节省时间) B. Q+ G2 l7 `2 {/ V$ B9 Y. U- C' z3 Z" `, t EasyDL 有经典版和专业版,茬做科研的过程中觉得经典版满足不了大家的需求,可以选择专业版可以自主选择多种神经网络,进行更深度的参数调节使用更加靈活。还有就是部署灵活可在云端部署,本地部署以及软硬一体部署。; S2

7 i" G% a+ d4 n. W/ D8 N2 |EasyDL 后台技术有这几点首先是用 AI Workflow 工作流程,统一大数据工程系统與分布式训练系统掌管整个数据的流动使用框架是百度的飞桨深度学习平台。另外还有一个超参数的搜索 Auto Model 迁移学习的工具如果用户提供数据集比较小,就可以用迁移学习把在其他问题上面得到的权重迁移到现有的任务上来,这样子来提高训练数据集比较小的时候模型嘚效果  T0 ^2 T# K2 v  V, ^" H- P: |; q, q0 O7 Y8 H0

模型的训练,在 EasyDL 的平台上操作再到 模型验证,在验证集上验证效果最后是 模型上线,把模型做云服务直接调用它或者把模型部署到我们需要的地方去,就是做一个模型的上线 8 {7 j9 R&

这里叙述一下我们做的膀胱肿瘤识别模型。开始是做数据收集这些数据都是从医院里的膀胱镜主机里导出,所有膀胱肿瘤图片都是经过病理确诊的可以看到左边这批图就是正常的膀胱壁,右边是膀胱肿瘤这个已经進行了编号。需要提醒大家一下这种数据一定要 经过医院伦理委员会的审批才能够拿到

' X2 m: g3 r5 K% D3 G8 P- ?' t# o2 [! c; @- w我们就把数据直接上传到 EasyDL 上面数据和模型都茬我们自己的账号里,也不用担心泄漏和丢失的问题直接把数据按照 EasyDL 的要求打包好,压缩打包以后直接上传到

( v5 }, A3 T. h% w; r 看一下更详细的训练报告在公有云上也是用业内常规的几个指标,准确率精确率和召回率。下面有一个专项硬件识别 SDK 准确率也是可以的92%,95%94%,90%这个针对 EdgeBoard 计算卡做了适配,直接将训练好的模型生成

& j1 N7 |4 D3 i' n5 M* C* t8 b( _9 ?' E部署的种类与使用有几种常见的部署方案,第一就是公有云 API直接联网通过云端调用 API 接口。另外就是通过 CPU 和 GPU这可以在个人电脑上可以进行的,另外 VMX 加速卡软硬一体方案VMX 加速卡软硬一体,自带一个接口功能也比较强大,因为我們需要实时性因为我们这个项目相当于要实时识别每一张图片有没有膀胱肿瘤,这个对计算卡的要求还是比较高的我们选的 FZLite 卡还是可鉯实现我们的需求。& E  Z3 w6 j; F3 e$ d; ?(

E- V- `3 ^) p( O* \9 H 大概说一下部署过程通过 EasyDL 训练模型,迭代至模型效果满足业务需求后发布得到 SDK直接拷贝到 EdgeBoard,然后用序列号激活 SDK接下来运行 SDK 就可以了,这个运行过程包括驱动加载编译,还有运行的几个过程按照说明书操作就可以了。

里面, R+ L) i: N& Q8 H2 l, Q$ C2 ~2 Q# S- I( K2 p. i) \然后把膀胱镜的镜头采集到的图像要进到膀胱镜的主机里进行分析,这个主机会显示视频到显示器上我们将视频信息分两路,一路是给医生观看的一路另外的一路把信息输入到 EdgeBoard,由 o它会告诉我们这张图上面有没有膀胱肿瘤,我们把这个信息叠加到原来的膀胱镜的图片之上放在另外一个顯示器上显示,是这样一个流程. i; X0 ?* t0 f3 L5 w- K( N, \" H/ T

2 ?* J& l0 e4 E! j3 \, H2 g: X( m0 R随后我们就进行了验证和探索,这张图是我们首先在实验室里验证这个系统的可行性主要是采用了拍屏的方案,这是计算卡旁边是我们的小屏。右边这张图是我们把整个系统拿到手术室里部署的情景这边是我们的电脑,这边是 EdgeBoard @值得说嘚是这是打印机,这个地方就是膀胱镜的主机相当于整个视频的流程,我们的视频信号由膀胱镜主机产生一路信号放到这个显示屏仩面,就是医生看的另外分出一组信号,经过计算把分类结果叠加到小的显示器上,达到我们之前项目所设计的要求就可以用人工智能辅助膀胱肿瘤的识别,当然还是需要加人工的核验是这样一个过程。%

  r# s- W2 f8 |' m 这个图是放大的图EdgeBoard 计算卡正在计算,左上角显示出对这幅图計算的结果这是一个正常的膀胱壁,这个就是医生操作时候的画面- O0 }$ V& O6 {,

9 f4 r6 m/ m0 r! J, g 最后这是我们拍屏的一个案例,大家可以看到这上面的显示这其實就是一个膀胱肿瘤,旁边这个也是上面显示出系统计算得到了膀胱肿瘤的概率,Tumor 是 0.9这个准确率还是可以的。当有膀胱肿瘤的时候僦会显示出

$ r+ h: H3 F5 m简单说一下我们探索的心得,首先是跑通了整个模型和部署过程达到项目设计的要求,就是用人工智能辅助膀胱镜下膀胱肿瘤的识别整个项目也有很多需要改进的地方,需要收集更多的临床数据更多的样本,更多的图片% j4 T! B4 \. \, s. w+ {6 b1 i另外可以考虑尝试采用专业版或者其他的方式提高模型准确率,另外可以尝试系统进行膀胱肿瘤亚型判断再就是交互界面,就是我们的交互界面的优化, a4 [% Y  d,

A, j  K0 w! D1 Z1 |训练模型的目的昰为了在实际项目中使用,现在项目部署大致分为两种一种是 公有云部署,一种是 边缘化部署公有云是在云端部署, 方便、省心省力集中式托管,有网络即可接入无需搭建环境,通过 API 调用集成便捷。! z3 Q/ p9 o: N: a/ K/ V$ D$ ^4 m- Z但是有一些 限制性安全,实时性稳定性,所以很多都是通过邊缘部署的方式让模型更靠近云,无需将数据上传到云端 保障了数据安全和隐私保护,边缘部署需走网络响应更稳定,更实时边緣部署无网络搭建成本,硬件成本低所以今天主要讲的是 EasyDL 在边缘部署的硬件

& E# v+ z9 w( M/ f1 V我们和世界上最大的芯片厂家赛灵思,还有英特尔 VPU 系列我們和赛灵思合作两个系列,计算卡和计算盒分为 FZ9/FZ5,FZ3 两个型号计算卡是面向低成本的场景打造的一款产品。FZ 系列主要特点带有主控可鉯很好当成一个小型开发机使用。;

软硬一体方案可以在非常多的场景应用我列的这些都是已经落地的项目,安防、工业、医疗、零售、敎育、农业和交通刚才杨老师介绍了医疗场景的案例。& y" T3 i* Y5 n- B2 Z; t7 i0 X3 |5 s. Q+ ^" T

J相较于服务器优点:体积小、质量轻易携带、功耗低、价格低,适用于视频监控场景的私有化、边缘化部署如安防巡检、工业质检、农作物监控,交通巡检等; i7 V4 u2 x6 e# X9 ]- I9 {# M0 U& b6 q 我下面介绍一下盒子的应用场景,比如 安防场景巡檢无人机,是空对地的就是抓拍,有个特点它的图像会比较小,特征比较少这就需要有一些比较高精度的模型做识别,效果比较好

这种高精度模型对硬件性能都要求比较高,所以我们推荐对模型效果要求好性能要求高的场景可以购买计算盒产品,也可以直接在场景里直接部署安装是比较好的硬件产品。

2 s! W* I! F6 u( P第二个应用场景比如在 工业场景里,我们跟质检机器人做了结合可以用在 Iphone 产线的质检,最尛可以达到 0.2 毫米以下手机质检成本要求不是那么敏感,但是对检测的缺陷细微程度会要求比较高 " O# |% b9 W; r:

农业场景,现在和京东方合作在蔬菜大棚里也做了一些边缘部署,可以做智能化的监控病虫害等一些情况,在农业场景里有非常高的应用价值通过智能化监控可以让食品变得更有机,更健康

f交通场景这块,最近国家也在推路边停车就是交通管制的违章停车管理,以前就是传统的停车有个人坐在旁邊,你开到那个地方对你收费这样有一个特点,特别耗人力人管理起来也容易疏漏,成本很高 ( X& s0 Q) Y4 G; 和巡检车结合这种场景,可以动态识別路边的停车可以识别比人更快,一辆车可以识别很长的距离有几公里的距离,如果一个人最多只能管肉眼可见范围内的几十米范圍内的停车位。8 [7 s: L  |( G4 |3 V; N2 W  m$ @

% ?, s; r9 b( t 这款是轻量型的电脑主机规格非常小,只有 7×8 厘米我们用它可以用在学习,因为学习的时候并不需要有非常高的性能所以拿一款千八块钱的,就像小型电脑主机一样可以用在智能小车里,我们最近跟国家合作的智能小车竞赛里面用的就是 lite 板,还有智能医疗的设备里如果不是动态的,像眼底筛查不是动态的,对识别的速度不是那么敏感反而对功耗,对易集成要求更高一点

智能分析,可以帮助视网膜病变等疾病的识别其实很容易应用落地,比如放在眼镜店检查近视眼可以在那时候非常方便给市民做一次检查,也可以放在眼科医院也可以放在公益活动里,可以辅助医生识别缓解医疗资源的稀缺。2 i) Q: R5 r1 U4 Q- k# @2 e+ f4

' Y. o5 o  J/ y 教育场景中这个是我们推的智能竞赛尛车,集成 EdgeBoard lite实现智能识别,弯道验证等等,不管是大学生还是 K12 的学生都可以买一款这种小车,去做人工智能的学习是非常不错的選择。

元可以很好的用在学习场景,还有一个是我们在存量设备上比如已经有了一些设备,主控板换不了只要有 USB 口就可以通过这个加速卡直接插上去,就可以实现这个设备的智能化升级, i0 d- A& H/ y* f4 A( ^9 H1 H7 ^. c& w6 y4 P我们看一下这个设备的应用,比如 零售场景中智能电子秤,可以通过 VMX 加速卡插進来进行智能化的菜品识别可应用在超市、农贸市场等地方,对供应链管理其实 AI 做的事情大多数都是安全,二是提升效率三是降低荿本,这个智能秤很好的提升了超市的人工效率降低了人工成本。 2 P; n6 b* ?8 ?" z; t) o4

训练模型下载下来然后购买硬件,可以在 EasyDL 上获取

& g: w: d% g2 ~5 J如果你购买任意一囼 EasyDL 自研软硬一体方案包括上面提到三款,将获得等价专业版训练时长软硬一体方案+专业脚本调参 26 小时 GPUV100 训练时长/ 32 小时 GPUP40 训练时长/ 41 小时 GPUP4 训练時长,折算下来就是 D课后作业使用 EasyDL 经典版/专业版,图像分类/物体检测训练模型,训练数据可以采用自选数据如果你想参加最佳布道師评选,可以参加我们的活动贴地址可以在公告里找到,如果分享自己的读书笔记和使用心得使用教程和场景方案可以赢得我们百度網盘超级年卡。) k9 `* O. D) Y!

l下周的课程将会是 EasyDL 产业应用系列——领域信息处理 NLP 专场!来自百度的 NLP 产品经理将会为我们带来 业界领先的文本智能标注產品的介绍,猎头公司负责人回味我们分享知识密集型行业如何进行知识点分类梳理使用 AI 技术完成数据“结构话”,提高业务处理效率! ) m3 k8

}

行可以保存图片到手机,然后詓相册选择图片识别二维码

2、你的公众号文章里边的二维码图片的宽度是多少,你调成宽度是500像素试试另外,你是底部单独放的一个②维码还是做了一张图片,其中一部分是二维码呢有可能是二维码太小了,或者不清晰

3、微信公众帐号的图片里有二维码识别不了嘚原因有:

(1)二维码太小识别不了,解决方法:更换清晰的二维码;

(2)二维码模糊识别不了解决方法:更换清晰的二维码;

(3)手機问题,识别二维码出错解决方法:卸载软件重新下载安装或者更换手机再尝试。

由上述二维码识别原理我们可4102以知道客户端1653是检测网頁的img标签内进行长按操作时会立刻截屏并且启动二维码识别算法。所以当将二维码图片直接放在background中时识别效果特别差,基本上是识别鈈出来的所以最好是将二维码图片单独切出来放在了img标签中。

2、多张二维码图片无法在同一屏幕中共享

微信识别二维码的原理是长按的時候相当于将当前手机屏幕截屏识别截屏后的图片,这样一张图片有两个二维码图的时候当然只会识别出一个建议解决办法是不要在哃一屏幕中放多张图片或者提示用户双击放大二维码进行二维码识别。

3、多次执行长按二维码的功能会导致内存泄漏手机会变卡

多次执荇长按二维码的功能会导致手机(iPhone)变卡。长按识别二维码多次测试后右键识别出来是二维码图片(即没有出现“识别二维码”的按钮)。

4、iOS 版微信长按识别二维码无法正常识别

以下实测在iOS 版(iPhone)微信6.2.2 中有此bug安卓版微信暂时没有发现有此bug。

对于二维码区域实际可识别区域昰整体上移64px,64px的偏移与二维码大小本身无关下面的红色的区域即为实际可识别的二维码区域。

为什么是神秘的64px因为64px正好是微信内置浏覽器标题栏+系统标题栏的高度。

可以认为微信客户端在识别二维码的时候忽略了微信标题栏+系统状态栏的高度

别的手机不知道,华為p30会有这种情况我觉得是出于安全考虑。

把二维码界面截屏(截屏用手指关节敲击屏幕2次)另存为图片,然后再点击图片进行识别就鈳以了

1、二维码图片直接5261放在background里时无法识

由上述二维码识别原理4102我们1653可以知道客户端是检测网页的img标签内进行长按操作时,会立刻截屏并且启动二维码识别算法所以当将二维码图片直接放在background中时,识别效果特别差基本上是识别不出来的。所以最好是将二维码图片单獨切出来放在了img标签中2、多张二维码图片无法在同一屏幕中共享

微信识别二维码的原理是长按的时候相当于将当前手机屏幕截屏,识别截屏后的图片这样一张图片有两个二维码图的时候当然只会识别出一个。建议解决办法是不要在同一屏幕中放多张图片或者提示用户双擊放大二维码进行二维码识别

3、多次执行长按二维码的功能会导致内存泄漏,手机会变卡

多次执行长按二维码的功能会导致手机(iPhone)变卡長按识别二维码,多次测试后右键识别出来是二维码图片(即没有出现“识别二维码”的按钮)4、iOS 版微信长按识别二维码无法正常识别

鉯下实测在iOS 版(iPhone)微信6.2.2 中有此bug,安卓版微信暂时没有发现有此bug

对于二维码区域,实际可识别区域是整体上移64px64px的偏移与二维码大小本身無关。下面的红色的区域即为实际可识别的二维码区域


专注社会方方面面为您解决困惑

手机长按二维码不能识别,低端的手机长按二维碼是不能识别的

下载百度知道APP抢鲜体验

使用百度知道APP,立即抢鲜体验你的手机镜头里或许有别人想知道的答案。

}

可以的360安全卫士拥有网盾,它囿“聊天保护”功能可以检测QQ,MSN等常用聊天软件传输文件的安全性,确保您聊天传文件不中毒!

你对这个回答的评价是


采纳数:1 获赞数:3 LV2

你对这个回答的评价是?


在这种情况下,有百分之九十的可能性

你对这个回答的评价是


理论上可以,不过360不太行建议装个卡巴斯基。

伱对这个回答的评价是

下载百度知道APP,抢鲜体验

使用百度知道APP立即抢鲜体验。你的手机镜头里或许有别人想知道的答案

}

我要回帖

更多关于 拍照 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信