- 电工电子电气实训设备
- 电力电子电机实训装置
- 过程控制实验装置
- 工业机器人智能制造
- 维修电工实训设备
- PLC自动化实训设备
- 数控机床实训考核装置
- 数控机床机械加工设备
- 机床电气实训装置
- 机电一体化实训设备
- 机械示教陈列柜
- 机械专业实验设备
- 传感器检测实验室设备
- 工业互联人工智能实训设备
- 特种作业操作实训考核设备
- 物联网实验实训设备
- 消防、给排水实训设备
- 网络布线实训室设备
- 电梯安装维修实训考核设备
- 热工暖通家电制冷实训设备
- 楼宇智能化实训设备
- 环境工程实验装置
- 流体力学实验装置
- 化工专业实验实训设备
- 新能源实验实训设备
- 电力供配电实训设备
- 煤矿矿山实验实训设备
- 液压气动实验室设备
- 教学仿真软件
- 轨道交通实验实训设备
- 船舶实训考核装置
- 驾驶模拟训练设备
- 新能源汽车实训设备
- 汽车发动机底盘实训台
- 汽车电器电子实训台
- 特种车工程机械实训设备
- 智能网联汽车实训设备
- 医学教学模型
- 中小学实验室设备
- 实验箱.实验仪
- 光电子通信实验装置
- 仪器设备.教学挂图
- LGT-K01型 考核一体机
- LGT-M01型 灭火器的选择和使用智能实操考核系统
- LGT-CS01型 创伤包扎实操考核系统
- LGT-CPR4080型 高级全自动电脑心肺复苏模拟人
- PLC控制编程仿真软件系统
- LGWX-02B型 中级电工实训考核设备(柜式、两面双
- LGE-QDD02型 纯电动车电池管理实训台
- LGDZ-JS06A型 电子技术综合实训考核平台
- LG-DLK02A型 多功能继电保护及变电站综合自动化实
- LG-HO2型 面向鸿蒙的智能网联实验系统
- LG-G06型 数字化工厂综合应用实训系统
- LG-GA02型 工业机器人模块化实训平台
- LGDS-03型 智能制造设备技术应用平台
- LG-DQYL01型 电气回路故障排查与诊断装置
- LG-X101C型 1+X考证工业机器人操作与运维工作站
- LG-DLK01型 电力系统综合自动化实验平台
- LG系列 智能建筑实验实训装置
- LGJS-3型 模块式柔性环形自动生产线及工业机器人
- LGJX-82E型 立体仓库实训装置
- LGJS-1型 现代物流仓储自动化实验系统
- LGJS-2型 模块式柔性自动环形生产线实验系统(工
- LG-2400型 数控模组化生产流水线综合系统(CD制程
- LGJD-01型 光机电一体化控制实训装置
- LGJD-02型 光机电一体化控制实训装置
- LG-235A 光机电一体化高速分拣实训系统
- LGK-III型 数控车/铣床综合考核装置(二合一/生产型
- LG-AT2型 自控原理与计算机控制实验仪
- LG-NLY01型 楼宇智能化工程实训系统
- LGZK-201G 自动化综合实训装置( PLC、直流调速、触
- LGPD-205B型 PLC、单片机及微机原理综合实训装置
LGWL-HMC01A型 智能网联座舱实训台(鸿蒙系统)
品牌:理工伟业 咨询电话:010-82827827 82827835
一、产品简介
智能座舱实训台是一款融合了物联网控制、车载网络CAN总线、人工智能开发、开源应用开发、Qt应用软件开发的实验平台,能够满足智能网联专业智能座舱课程、物联网控制与嵌入式操作系统课程、人工智能应用课程的实验实训的要求。
平台包含中控计算平台系统、车机及其显示器、视觉传感器、麦克风阵列、音响设备、座舱舱体(含座椅、雨刮、车窗、方向盘、刹车踏板、加速踏板)、超声波雷达、毫米波雷达等硬件,结合中控软件系统、车机软件、座椅控制程序,实现手势识别、人脸识别、语音交互、驾驶员疲劳驾驶检测、座椅远程调节、雨刮车窗控制、车载传感器监测、车机应用娱乐等功能。
二、产品组成
产品包括智能座舱实训台体和智能座椅舱体两部分。
实训台体主要安装了中控计算平台、车机控制器、显示器、视觉传感器、麦克风阵列、扬声器及音响、超声波雷达及其四个探头、毫米波雷达、激光雷达、以及网络组建设施。布局如图所示。
舱体,安装了单台主驾驶座椅、雨刮及电机、车窗及电机、方向盘、刹车踏板、加速踏板和座舱线控制器,通过座舱线控制器,接入到系统的CAN总线中,支持使用CAN分析工具测试舱体设备。
三、产品功能
1、座椅设施控制功能
可通过软件控制座椅向前移动任意距离、向后移动任意距离、向上移动、向下移动、回归零点;可以控制雨刮器擦拭挡风玻璃;控制车窗器驱动车窗升降。
2、人脸识别功能
软件和视觉传感器配合,能够实现人脸检测、人脸录入、人脸识别调节座椅。
3、手势识别座舱控制功能
软件支持手势交互功能,通过人工智能算法,能够识别手部的关键点信息;软件支持不少于4种的手势识别;并根据手势识别的结果,控制车载氛围灯开、关、调节座椅前移或后移。
4、语音识别座舱控制功能
软件支持语音交互控制功能,开启语音识别后,可识别到用户的语音指令,根据用户指令发送命令,控制座舱氛围灯开关、座舱风扇开关、座椅移动方式。
5、驾驶员疲劳检测功能
软件支持驾驶员疲劳或注意力不集中的状态检测,采用pytorch框架,真实场景拍摄的驾驶员数据,支持正常驾驶、打呵欠、低头、打电话至少四种不同状态的检测。当出现疲劳或不集中状态时,软件语音提醒驾驶员休息。
6、汽车周身环境感知功能
软件可以探测并可视化超声波四路探头前方障碍物的距离;可以设置毫米波雷达参数,对前方障碍物信息进行筛选显示;采用ROS操作系统,和可视化机器人系统开源工具RViz,可视化显示激光雷达四周的动态信息。
四、软件资源
1、座舱CAN控制软件:采用嵌入式处理器和C语言开发,驱动PWM外设接口输出脉冲调制信号驱动座椅的前后方向转动电机、或上下方向转动电机,并实时检测限位变化,控制电机及时停止;驱动车窗总成电机正反转,实现车窗上升或下降;驱动继电器吸合或断开控制雨刮器的的往复摆动;实时读取方向盘、刹车踏板、加速踏板的模拟量传感器信号,输出方向盘转角、踏板深度数据;控制器具有CAN总线接口,支持CAN总线通信协议,与其他CAN总线设备通信。
2、座椅上位机控制软件:采用PyQt进行GUI上位机软件开发,具备TCP/IP通信程序,可以通过网络与座舱CAN控制器进行通信,基于CAN总线协议,向座舱CAN控制器发送命令,控制座椅、车窗、雨刮相应动作,实时读取CAN控制器的数据帧,显示方向盘、刹车踏板、加速踏板的变化数据。
3、服务器数据处理软件:使用ROS框架作为MQTT客户端节点和TCP Server节点相互通信的中间层。MQTT客户端订阅控制类主题消息(如控制座椅、控制车窗、控制雨刮),转发给ROS层对应的订阅话题,通过ROS消息队列机制存储和转发。TCP Server节点的ROS层订阅后经格式转换,解析处理,就可以通过TCP Server发送给硬件TCP客户端进行座椅、车窗、雨刮等设备的控制。同理,TCP Server节点接收到硬件TCP客户端CAN数据协议,经过处理,再传输给MQTT节点,由MQTT节点发布。此时车机MQTT客户端订阅消息后就可以显示座椅位置、方向盘状态、踏板深度等座舱传感器数据。
4、智能座舱人机交互应用软件:基于中控系统安装的Anaconda及虚拟环境、CUDA、CUDNN、PyCharm、PyQt等开发环境,开发了基于Mediapipe 的手势识别、基于MTCNN的人脸检测和Facnet的人脸识别,基于Keras和Tensorflow深度学习框架的司机疲劳检测,基于第三方库的语音识别控制座舱设施等一系列智能人机交互软件。
5、智能座舱应用软件:基于Openharmony4.0操作系统,采用DevEco Studio IDE和ArkTs语言进行应用软件开发。软件内置MQTT应用协议,具有发布订阅消息的机制,可以订阅温湿度、光线、空气质量等车载环境信息、座舱线控状态(如方向盘转向、刹车踏板深度、加速踏板深度;也可以发布命令,控制车载氛围灯、车载风扇,控制座椅调节、车窗升降、雨刮启停;内嵌第三方语音识别库,可以语音识别控制风扇、氛围灯、车窗、雨刮;内嵌视频播放器功能软件。
五、产品清单
序号 |
类别 |
名称 |
|
1. |
实训台体 |
h型台体框架(包含供电、保护装置、开关、指示灯) |
|
2. |
网联传感器 |
超声波传感器 |
|
3. |
|
毫米波雷达传感器 |
|
4. |
|
16线激光雷达传感器 |
|
5. |
|
CAN转网模块 |
|
6. |
|
北斗GPS定位模块 |
|
7. |
座舱台体设备 |
计算平台 |
|
8. |
|
显示器 |
19.5 |
9. |
|
视觉传感器 |
|
10. |
|
麦克风阵列 |
|
11. |
|
鼠标键盘 |
|
12. |
|
OpenHarmony车机 |
|
13. |
|
车机10寸显示屏 |
|
14. |
|
OpenHarmony环境监测模块 |
|
15. |
|
OpenHarmony光线联动模块 |
|
16. |
|
功放 |
|
17. |
|
内嵌式喇叭 |
|
18. |
|
有源音响 |
|
19. |
座舱舱体设备 |
座舱线控制器 |
|
20. |
|
座椅 |
|
21. |
|
座椅加热/通风垫 |
|
22. |
|
雨刮器 |
|
23. |
|
车窗总成 |
|
24. |
|
加速踏板 |
|
25. |
|
刹车踏板 |
|
26. |
|
座舱金属框架 |
|
27. |
|
方向盘 |
|
28. |
网络设备 |
路由器 |
|
|
|
工业交换机 |
|
六、课程实验
实训项目 |
实验名称 |
课时 |
智能座舱网络互联 |
座舱网络互联规划 |
1 |
|
座舱网络互联实施 |
1 |
中控计算平台部署 |
服务器中间件的安装与测试 |
1 |
车载传感器的感知控制 |
座椅雨刮及车窗的移动控制 |
2 |
|
超声波传感器的探测 |
2 |
|
毫米波雷达的探测及应用开发 |
2 |
|
激光雷达的探测及应用 |
2 |
座舱人机无感交互 |
开发环境安装与测试 |
2 |
|
人脸识别应用开发 |
2 |
|
手势识别控制系统应用开发 |
2 |
|
语音识别控制系统应用开发 |
2 |
|
疲劳驾驶检测系统应用开发 |
2 |
开源车机应用 |
OpenHarmony 开发环境搭建和eTS入门 |
1 |
|
OpenHarmony舱内控制器的控制开发 |
2 |
|
OpenHarmony座舱内环境参数采集开发 |
2 |
|
OpenHarmony语音助手的功能实现 |
2 |
|
OpenHarmony车机娱乐应用开发 |
2 |
|
OpenHarmony座舱综合应用开发 |
2 |
|
|
共32课时 |