设为首页 | 加入收藏 | 网站地图
当前位置:首页 > 产品展示 > 汽车实训设备 > 智能网联汽车实训设备 > 智能网联汽车实训设备

LGWL-HMC01A型 智能网联座舱实训台(鸿蒙系统)

品牌:理工伟业 咨询电话:010-82827827 82827835

一、产品简介

智能座舱实训台是一款融合了物联网控制、车载网络CAN总线、人工智能开发、开源应用开发、Qt应用软件开发的实验平台,能够满足智能网联专业智能座舱课程、物联网控制与嵌入式操作系统课程、人工智能应用课程的实验实训的要求。
平台包含中控计算平台系统、车机及其显示器、视觉传感器、麦克风阵列、音响设备、座舱舱体(含座椅、雨刮、车窗、方向盘、刹车踏板、加速踏板)、超声波雷达、毫米波雷达等硬件,结合中控软件系统、车机软件、座椅控制程序,实现手势识别、人脸识别、语音交互、驾驶员疲劳驾驶检测、座椅远程调节、雨刮车窗控制、车载传感器监测、车机应用娱乐等功能。

二、产品组成

产品包括智能座舱实训台体和智能座椅舱体两部分。
实训台体主要安装了中控计算平台、车机控制器、显示器、视觉传感器、麦克风阵列、扬声器及音响、超声波雷达及其四个探头、毫米波雷达、激光雷达、以及网络组建设施。布局如图所示。
舱体,安装了单台主驾驶座椅、雨刮及电机、车窗及电机、方向盘、刹车踏板、加速踏板和座舱线控制器,通过座舱线控制器,接入到系统的CAN总线中,支持使用CAN分析工具测试舱体设备。

三、产品功能

1、座椅设施控制功能
可通过软件控制座椅向前移动任意距离、向后移动任意距离、向上移动、向下移动、回归零点;可以控制雨刮器擦拭挡风玻璃;控制车窗器驱动车窗升降。
2、人脸识别功能
软件和视觉传感器配合,能够实现人脸检测、人脸录入、人脸识别调节座椅。
3、手势识别座舱控制功能
软件支持手势交互功能,通过人工智能算法,能够识别手部的关键点信息;软件支持不少于4种的手势识别;并根据手势识别的结果,控制车载氛围灯开、关、调节座椅前移或后移。
4、语音识别座舱控制功能
软件支持语音交互控制功能,开启语音识别后,可识别到用户的语音指令,根据用户指令发送命令,控制座舱氛围灯开关、座舱风扇开关、座椅移动方式。
5、驾驶员疲劳检测功能
软件支持驾驶员疲劳或注意力不集中的状态检测,采用pytorch框架,真实场景拍摄的驾驶员数据,支持正常驾驶、打呵欠、低头、打电话至少四种不同状态的检测。当出现疲劳或不集中状态时,软件语音提醒驾驶员休息。
6、汽车周身环境感知功能
软件可以探测并可视化超声波四路探头前方障碍物的距离;可以设置毫米波雷达参数,对前方障碍物信息进行筛选显示;采用ROS操作系统,和可视化机器人系统开源工具RViz,可视化显示激光雷达四周的动态信息。

四、软件资源

1、座舱CAN控制软件:采用嵌入式处理器和C语言开发,驱动PWM外设接口输出脉冲调制信号驱动座椅的前后方向转动电机、或上下方向转动电机,并实时检测限位变化,控制电机及时停止;驱动车窗总成电机正反转,实现车窗上升或下降;驱动继电器吸合或断开控制雨刮器的的往复摆动;实时读取方向盘、刹车踏板、加速踏板的模拟量传感器信号,输出方向盘转角、踏板深度数据;控制器具有CAN总线接口,支持CAN总线通信协议,与其他CAN总线设备通信。
2、座椅上位机控制软件:采用PyQt进行GUI上位机软件开发,具备TCP/IP通信程序,可以通过网络与座舱CAN控制器进行通信,基于CAN总线协议,向座舱CAN控制器发送命令,控制座椅、车窗、雨刮相应动作,实时读取CAN控制器的数据帧,显示方向盘、刹车踏板、加速踏板的变化数据。
3、服务器数据处理软件:使用ROS框架作为MQTT客户端节点和TCP Server节点相互通信的中间层。MQTT客户端订阅控制类主题消息(如控制座椅、控制车窗、控制雨刮),转发给ROS层对应的订阅话题,通过ROS消息队列机制存储和转发。TCP Server节点的ROS层订阅后经格式转换,解析处理,就可以通过TCP Server发送给硬件TCP客户端进行座椅、车窗、雨刮等设备的控制。同理,TCP Server节点接收到硬件TCP客户端CAN数据协议,经过处理,再传输给MQTT节点,由MQTT节点发布。此时车机MQTT客户端订阅消息后就可以显示座椅位置、方向盘状态、踏板深度等座舱传感器数据。
4、智能座舱人机交互应用软件:基于中控系统安装的Anaconda及虚拟环境、CUDA、CUDNN、PyCharm、PyQt等开发环境,开发了基于Mediapipe 的手势识别、基于MTCNN的人脸检测和Facnet的人脸识别,基于Keras和Tensorflow深度学习框架的司机疲劳检测,基于第三方库的语音识别控制座舱设施等一系列智能人机交互软件。
5、智能座舱应用软件:基于Openharmony4.0操作系统,采用DevEco Studio IDE和ArkTs语言进行应用软件开发。软件内置MQTT应用协议,具有发布订阅消息的机制,可以订阅温湿度、光线、空气质量等车载环境信息、座舱线控状态(如方向盘转向、刹车踏板深度、加速踏板深度;也可以发布命令,控制车载氛围灯、车载风扇,控制座椅调节、车窗升降、雨刮启停;内嵌第三方语音识别库,可以语音识别控制风扇、氛围灯、车窗、雨刮;内嵌视频播放器功能软件。

五、产品清单

序号

类别

名称

 

1.

实训台体

h型台体框架(包含供电、保护装置、开关、指示灯)

 

2.

网联传感器

超声波传感器

 

3.

 

毫米波雷达传感器

 

4.

 

16线激光雷达传感器

 

5.

 

CAN转网模块

 

6.

 

北斗GPS定位模块

 

7.

座舱台体设备

计算平台

 

8.

 

显示器

19.5

9.

 

视觉传感器

 

10.

 

麦克风阵列

 

11.

 

鼠标键盘

 

12.

 

OpenHarmony车机

 

13.

 

车机10寸显示屏

 

14.

 

OpenHarmony环境监测模块

 

15.

 

OpenHarmony光线联动模块

 

16.

 

功放

 

17.

 

内嵌式喇叭

 

18.

 

有源音响

 

19.

座舱舱体设备

座舱线控制器

 

20.

 

座椅

 

21.

 

座椅加热/通风垫

 

22.

 

雨刮器

 

23.

 

车窗总成

 

24.

 

加速踏板

 

25.

 

刹车踏板

 

26.

 

座舱金属框架

 

27.

 

方向盘

 

28.

网络设备

路由器

 

 

 

工业交换机

 

六、课程实验

实训项目

实验名称

课时

智能座舱网络互联

 

座舱网络互联规划

1

座舱网络互联实施

1

中控计算平台部署

服务器中间件的安装与测试

1

车载传感器的感知控制

 

 

 

座椅雨刮及车窗的移动控制

2

超声波传感器的探测

2

毫米波雷达的探测及应用开发

2

激光雷达的探测及应用

2

座舱人机无感交互

 

 

 

 

开发环境安装与测试

2

人脸识别应用开发

2

手势识别控制系统应用开发

2

语音识别控制系统应用开发

2

疲劳驾驶检测系统应用开发

2

开源车机应用

 

 

 

 

 

 

OpenHarmony 开发环境搭建和eTS入门

1

OpenHarmony舱内控制器的控制开发

2

OpenHarmony座舱内环境参数采集开发

2

OpenHarmony语音助手的功能实现

2

OpenHarmony车机娱乐应用开发

2

OpenHarmony座舱综合应用开发

2

 

32课时

关键词: 数控车床 实训设备 实训装置 教学仪器 教学设备 实验设备 实训台 考核装置 电工电子 实验装置 数控技术 技能实训 数控系统 电气控制 自控实训 数控软件 实验系统 数控实训 电气技术 数控设备 数控铣床 高教设备 教学车床 职教设备 PLC控制 PLC技术 PLC实验 变频调速 PLC实训 单片机
北京智控理工伟业科教设备有限公司专业生产:实训考核装置|教学设备|教学仪器|高教职教实验室设备|教学模型|教学实训平台|实训基地建设||机电数控实训设备
Copyright(C)2012 北京智控理工伟业科教设备有限公司 电话:010-82827827 82827835 | 传真:010-68948559
E-mail:Ligong99@163.com 京ICP备09023089号-3